WO2022264396A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2022264396A1
WO2022264396A1 PCT/JP2021/023162 JP2021023162W WO2022264396A1 WO 2022264396 A1 WO2022264396 A1 WO 2022264396A1 JP 2021023162 W JP2021023162 W JP 2021023162W WO 2022264396 A1 WO2022264396 A1 WO 2022264396A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
analysis
inspection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/023162
Other languages
English (en)
French (fr)
Inventor
督 那須
恵一 白須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021568828A priority Critical patent/JP7026871B1/ja
Priority to US18/567,032 priority patent/US20240281948A1/en
Priority to PCT/JP2021/023162 priority patent/WO2022264396A1/ja
Priority to CN202180099285.7A priority patent/CN117480381A/zh
Publication of WO2022264396A1 publication Critical patent/WO2022264396A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program.
  • the target when using a trained model for inspection, the target must be included in the image.
  • the imaging device when the imaging device is fixed above the belt conveyor, the imaging device images an object existing on the belt conveyor. Therefore, the image contains the object.
  • the imaging device if the imaging device is not fixed, the object may not be included in the image.
  • the case where the imaging device is not fixed means the case where the imaging device is attached to the worker.
  • appropriate inspection cannot be performed even if the trained model is used.
  • the purpose of this disclosure is to conduct appropriate inspections.
  • the image processing apparatus includes an acquisition unit that acquires an image and an inspection trained model for inspecting an inspection target, and uses the image to determine whether the target is included in the image. an analysis creation unit that analyzes and creates an analysis result indicating that the image is suitable as an image to be used for inspection when the object is included in the image; an inspection unit that inspects the object included in the image using the image and the trained model for inspection when the analysis result indicates that it is appropriate.
  • an appropriate inspection can be performed.
  • FIG. 2 illustrates hardware included in the image processing apparatus according to the first embodiment
  • FIG. 2 is a block diagram showing functions of the image processing apparatus according to Embodiment 1
  • FIG. 3 is a block diagram showing functions of an analysis creation unit according to Embodiment 1
  • FIG. 4 is a flowchart showing an example of processing executed by an analysis creation unit according to Embodiment 1
  • 3 is a block diagram showing functions of a search unit according to Embodiment 1
  • FIG. 4 is a flow chart showing an example of processing executed by a search unit according to Embodiment 1
  • 3 is a block diagram showing functions of a determination unit according to Embodiment 1
  • FIG. 11 is a block diagram showing functions of an image processing apparatus according to Embodiment 5;
  • FIG. 12 is a block diagram showing functions of an image processing apparatus according to Embodiment 6;
  • FIG. 21 is a block diagram showing functions of an analysis creation unit according to Embodiment 6;
  • FIG. 12 is a block diagram showing functions of an output control unit according to Embodiment 6;
  • FIG. 1 illustrates hardware included in an image processing apparatus according to a first embodiment.
  • the image processing device 100 is a device that executes an image processing method.
  • the image processing apparatus 100 has a processor 101 , a volatile memory device 102 and a nonvolatile memory device 103 .
  • the processor 101 controls the image processing apparatus 100 as a whole.
  • the processor 101 is a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), or the like.
  • Processor 101 may be a multiprocessor.
  • the image processing apparatus 100 may have a processing circuit.
  • the processing circuit may be a single circuit or multiple circuits.
  • the volatile storage device 102 is the main storage device of the image processing device 100 .
  • the volatile memory device 102 is RAM (Random Access Memory).
  • a nonvolatile storage device 103 is an auxiliary storage device of the image processing apparatus 100 .
  • the nonvolatile storage device 103 is a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • FIG. 2 is a block diagram showing functions of the image processing apparatus according to the first embodiment.
  • the image processing apparatus 100 has a storage unit 110 , an acquisition unit 120 , an analysis creation unit 130 , an inspection unit 140 , an output control unit 150 and a provision unit 160 .
  • the storage unit 110 may be realized as a storage area secured in the volatile storage device 102 or the nonvolatile storage device 103.
  • a part or all of the acquisition unit 120, the analysis creation unit 130, the inspection unit 140, the output control unit 150, and the provision unit 160 may be implemented by a processing circuit.
  • Part or all of the acquisition unit 120 , the analysis creation unit 130 , the inspection unit 140 , the output control unit 150 , and the provision unit 160 may be implemented as modules of programs executed by the processor 101 .
  • the program executed by the processor 101 is also called an image processing program.
  • an image processing program is recorded on a recording medium.
  • the acquisition unit 120 acquires an image.
  • the acquisition unit 120 acquires an image from the storage unit 110.
  • FIG. Also, for example, the acquisition unit 120 acquires an image from an imaging device. Note that illustration of the imaging device is omitted.
  • the acquisition unit 120 acquires a trained model for inspection.
  • the acquisition unit 120 acquires the trained model for inspection from the storage unit 110 .
  • the trained model for inspection may be stored in an external device (for example, a cloud server).
  • the acquisition unit 120 acquires the trained model for inspection from the external device.
  • the trained model for inspection is a trained model for inspecting an object to be inspected.
  • the trained model for inspection is a trained model for inferring the inspection result of the object included in the image.
  • the analysis creation unit 130 uses the image to analyze whether or not the inspection object is included in the image. Specifically, the analysis creation unit 130 uses the image and a preset method to analyze whether or not the object to be inspected is included in the image. For example, the preset methods are pattern matching, general object recognition technology, specific object recognition technology, and the like. The analysis creation unit 130 may create an analysis result indicating that the image is suitable as an image to be used for inspection when the object is included in the image. The analysis creation unit 130 may create an analysis result indicating that the image is not suitable as an image to be used for inspection if the image does not include the target object. Detailed functions of the analysis creation unit 130 will be described later.
  • the analysis creating unit 130 outputs the analysis result and the image to the providing unit 160 when the image is not suitable for inspection or when the image is suitable for use in inspection.
  • the inspection unit 140 inspects the object included in the image using the image and the trained model for inspection. Specifically, the inspection unit 140 obtains inspection results output by the trained model for inspection by inputting information obtained from the image into the trained model for inspection. It should be noted that, for example, in the inspection, it is inspected whether there is a scratch on the object, whether there is a missing part, or whether there is a work omission. Further, for example, the work omission is forgetting to fasten a screw or insufficient fastening of a screw. Further, the inspection unit 140 may inspect the target object included in the image using the contents of the analysis executed by the analysis creation unit 130, the image, and the inspection trained model.
  • the inspection unit 140 uses an image including the object cut out from the image acquired by the acquisition unit 120 (that is, an image from which the background has been removed) and a trained model for inspection to obtain the object may be inspected. As a result, the inspection unit 140 can perform inspection with higher accuracy. Note that when the inspection is performed, in the learning phase, learning for performing the inspection is performed using an image including the cut-out target object. Then, by performing learning, a trained model for inspection used in the inspection is generated.
  • the output control unit 150 outputs inspection results. For example, the output control unit 150 outputs inspection results to a display. Further, for example, the output control unit 150 outputs inspection results to an external device. The output control section 150 may output the inspection result to the storage section 110 .
  • the providing unit 160 provides information for creating an appropriate image based on the analysis results.
  • the analysis result is the result of analyzing the image.
  • the analysis result may be expressed as including the analysis result for the analysis target, which will be described later.
  • the providing unit 160 provides the user with information indicating that the target is not included in the image. Then, the providing unit 160 provides the user with information prompting the user to take an image so that the target object is included in the image.
  • the providing unit 160 provides the user with information indicating that the composition is not appropriate when the object is imaged from the side when the object should be imaged from the front. Then, the providing unit 160 provides the user with information prompting the user to review the composition.
  • the providing unit 160 provides the user with information indicating that the brightness and sharpness are not appropriate.
  • information provided to the user is displayed on the display. This allows the user to recognize the provided information. Also, the information provided to the user may be provided by voice.
  • the information provided by the providing unit 160 allows the user to capture an appropriate image using the imaging device.
  • FIG. 3 is a block diagram showing functions of an analysis creation unit according to the first embodiment.
  • the analysis creation unit 130 has a search unit 131 , a composition analysis unit 132 , a lighting environment analysis unit 133 , a sharpness analysis unit 134 and a determination unit 135 . Functions of the search unit 131, the composition analysis unit 132, the illumination environment analysis unit 133, the sharpness analysis unit 134, and the determination unit 135 will be described later.
  • FIG. 4 is a flowchart illustrating an example of processing executed by an analysis creation unit according to Embodiment 1.
  • the searching unit 131 searches for an object in the image using the image acquired by the acquiring unit 120 and a preset method. Specifically, the search unit 131 searches for a region of the object within the image.
  • the preset methods are pattern matching, general object recognition technology, specific object recognition technology, and the like.
  • Step S12 The search unit 131 determines whether or not the image contains an object. If the image contains the object, the process proceeds to step S13. If the image does not contain the object, the search unit 131 outputs an analysis result indicating that the image is not suitable for inspection. The process then ends.
  • the composition analysis unit 132 analyzes the composition of the object based on the area of the object in the image. For example, the composition analysis unit 132 analyzes the positional relationship between the imaging device that generated the image and the object as a composition. Specifically, the composition analysis unit 132 analyzes whether the imaging device is imaging the object from the front or from the side. In addition, you may think that the said positional relationship is a three-dimensional positional relationship. The positional relationship is represented by relative coordinates, but may be represented by absolute coordinates (for example, also called world coordinates). Also, for example, the composition analysis unit 132 analyzes the degree of zoom when the target object is imaged as the composition. Specifically, the composition analysis unit 132 analyzes the size of the captured object.
  • the lighting environment analysis unit 133 analyzes the brightness of the area based on the area of the object in the image. In other words, the lighting environment analysis unit 133 analyzes the luminance distribution of the area. Also, in other words, the lighting environment analysis unit 133 analyzes how bright the object appears in the image. Also, the lighting environment analysis unit 133 may analyze the average brightness of the area. Furthermore, the lighting environment analysis unit 133 may analyze how the object is illuminated by lighting based on the area of the object in the image.
  • the sharpness analysis unit 134 analyzes the sharpness of the area based on the area of the object in the image. Sharpness is degraded due to defocus in the imaging device and blurring of the imaging device during imaging.
  • the sharpness analysis unit 134 may analyze the sharpness for each factor such as out-of-focus and camera shake. When analyzing the sharpness, the sharpness analysis unit 134 may convert the area into frequencies and analyze the sharpness from the values and distribution based on the frequencies.
  • Step S14 The determination unit 135 determines whether or not the image is suitable as an image to be used for inspection, based on the composition, brightness, and sharpness (that is, the analysis result of the analysis target). In other words, the determination unit 135 comprehensively determines the composition, brightness, and sharpness to determine whether the image is suitable as an image to be used for inspection.
  • the determination unit 135 performs the following processes in the determination process.
  • the determination unit 135 compares the analyzed composition with a preset composition.
  • the determination unit 135 compares the analyzed brightness with a preset threshold.
  • the determination unit 135 compares the analyzed sharpness with a preset threshold.
  • the determination unit 135 may input at least one of brightness and sharpness into a formula prepared in advance, and determine whether or not it is appropriate based on the value output by the formula. good.
  • the image contains a screw, which is an object.
  • the first condition is that the composition is such that the screw, which is the fastening part, and the contact surface of the object to be fastened can be seen from a predetermined angle or more with respect to the fastening direction of the screw.
  • the second condition is that the sharpness is such that the groove between the screw and the object to be fastened is clearly detected when the fastening is in a bad state.
  • the third condition is that the brightness is such that the groove, screw, and object to be fastened can be distinguished.
  • the angle, the sharpness, and the brightness may be determined based on the know-how of a skilled worker, or values may be set so that the trained model for inspection can perform an appropriate inspection.
  • the values for the trained model for inspection to perform appropriate inspection may be, for example, values obtained by obtaining the angle, sharpness, and brightness of the object included in the learning data used to generate the trained model for inspection.
  • weights may be added to the imaging angle derived from the composition, the analyzed sharpness, and the analyzed luminance.
  • the determining unit 135 determines whether or not the image is suitable as an image to be used for inspection based on the weighted total value of the imaging angle, sharpness, and luminance, and a preset value.
  • step S15 If the image is suitable as an image to be used for inspection, the process proceeds to step S15. If the image is not suitable for inspection, the determination unit 135 outputs an analysis result indicating that the image is not suitable for inspection. The process then ends.
  • Step S15 The determination unit 135 outputs to the inspection unit 140 an analysis result indicating that the image is suitable as an image used for inspection, area information indicating the area of the object in the image, and the image. Also, the region information may be included in the analysis result. It can be said that the analysis result is created by the analysis creating unit 130 .
  • the image processing apparatus 100 determines whether or not the image is suitable as an image to be used for inspection, even if the image contains an object. As a result, the image processing apparatus 100 can prevent inspection using inappropriate images.
  • the search unit 131 may have the following functions.
  • 5 is a block diagram showing functions of a search unit according to Embodiment 1.
  • the search unit 131 has an image storage unit 131a, a search result storage unit 131b, a search processing unit 131c, and a determination unit 131d. Note that the image storage unit 131a and the search result storage unit 131b may be realized by the storage unit 110.
  • FIG. 5 is a block diagram showing functions of a search unit according to Embodiment 1.
  • the search unit 131 has an image storage unit 131a, a search result storage unit 131b, a search processing unit 131c, and a determination unit 131d. Note that the image storage unit 131a and the search result storage unit 131b may be realized by the storage unit 110.
  • the acquisition unit 120 acquires a plurality of images obtained by continuously imaging the object.
  • the plurality of images are 30 images obtained by continuously imaging the object in one second. That is, the plurality of images are images obtained by continuous shooting by the imaging device. Also, the plurality of images may be a plurality of frames forming a moving image.
  • the image accumulating unit 131a accumulates past images, which are images in which the target object has been searched, among the plurality of images. Since the past image is an image obtained by continuous shooting, the time at which the past image was created does not differ greatly from the time at which the current image, which will be described later, was created. The past image contains the same objects as the current image. Also, the positions of the objects included in the past image and the current image do not change significantly. A preset number of images are accumulated in the image accumulation unit 131a. If the number is exceeded, the oldest images are deleted. When a plurality of similar images are stored in the image storage unit 131a, the plurality of images may be preferentially deleted. This is because different images are stored in the image storage unit 131a as much as possible.
  • the similarity is determined based on whether or not the average of the absolute differences of the pixel values is equal to or less than a certain value.
  • the images stored in the image storage unit 131a may be deleted when a preset period has elapsed.
  • the search result accumulation unit 131b accumulates search results for past images. Also, the search results stored in the search result storage unit 131b are deleted in chronological order.
  • the search processing unit 131c searches for an object in the current image, which is an image that has not been searched among the plurality of images.
  • the search method is the same as in step S11.
  • the search processing unit 131c may search for an object in the current image based on the past image and the search result for the past image. For example, assume that the current image was created at time t. Let f(t-1) be the search result for the past image created at time t-1. Let f(t-2) be the search result for the past image created at time t-2. The search result f(t) for the current image is estimated as "f(t-1)+ ⁇ f(t-1)-f(t-2) ⁇ ". Note that "f(t-1)+ ⁇ f(t-1)-f(t-2) ⁇ " is obtained when the difference between "t-1" and "t-2" is minute, and when the imaging device and the object do not change abruptly. Thereby, the search processing unit 131c can search for the object in the current image. Further, the search processing unit 131c may use the search result obtained by adding a weight to the search result for the past image as the search result for the current image.
  • the determining unit 131d Based on the past image, the search result for the past image, and the search result for the current image, the determining unit 131d compares the position of the object in the current image with the position of the object in the past image, and determines the error. is less than a preset threshold, output the search result for the current image. If the error is equal to or greater than the threshold, the determination unit 131d determines the average of the positions of the object in the current image and the positions of the object in the past image as the search result for the current image. The determining unit 131d may add a weight to the average.
  • the determination unit 131d groups the target object region in the current image and the target object region in the previous image, and selects the target object region from among the grouped regions by a majority vote. may be determined, and the determined region may be determined as the search result for the current image.
  • the determination unit 131d stores the search result in the search result accumulation unit 131b.
  • FIG. 6 is a flowchart illustrating an example of processing executed by a search unit according to Embodiment 1.
  • the search processing unit 131c acquires past images from the image storage unit 131a.
  • the search processing unit 131c acquires search results for past images from the search result accumulation unit 131b.
  • Step S23 The search processing unit 131c searches for an object within the current image.
  • Step S24 Based on the past image, the search result for the past image, and the search result for the current image, the determination unit 131d determines the position of the object in the current image and the position of the object in the past image. compare.
  • Step S25 The determination unit 131d determines whether the error is smaller than the threshold. If the error is smaller than the threshold, the process proceeds to step S26. If the error is greater than or equal to the threshold, the process proceeds to step S27.
  • Step S26 The determination unit 131d outputs the search result for the current image.
  • Step S27 The determining unit 131d determines the average of the position of the object in the current image and the positions of the object in one or more past images as the search result for the current image. Note that the method using the average is an example. In this manner, the image processing apparatus 100 adjusts the search result for the current image when the search result for the current image is unsatisfactory. Accordingly, the image processing apparatus 100 analyzes the sharpness and the like for the region indicated by the adjusted search result. Therefore, the image processing apparatus 100 can perform appropriate analysis.
  • step S26 or step S27 the composition, brightness, and sharpness are analyzed based on the area indicated by the search result for the current image. For example, after step S26, composition, brightness and sharpness are analyzed based on the area of the object in the current image.
  • the determination unit 135 may have the following functions. 7 is a block diagram illustrating functions of a determination unit according to Embodiment 1.
  • FIG. The determination unit 135 has a determination unit 135a, a result accumulation unit 135b, and a determination unit 135c. Note that the result storage unit 135b may be realized by the storage unit 110.
  • FIG. 7 is a block diagram illustrating functions of a determination unit according to Embodiment 1.
  • the determination unit 135 has a determination unit 135a, a result accumulation unit 135b, and a determination unit 135c. Note that the result storage unit 135b may be realized by the storage unit 110.
  • the determining unit 135a determines whether the current image is suitable as an image to be used for inspection, based on the composition, brightness, and sharpness obtained by analyzing the current image (that is, results to be analyzed). judge. Specifically, the determination unit 135a performs the same processing as in step S14.
  • the result accumulation unit 135b accumulates past determination results indicating whether or not the past image is suitable as an image to be used for inspection.
  • the past determination results are deleted in chronological order when a preset number or a preset period has passed.
  • the determination unit 135c compares the past determination result and the current determination result indicating whether or not the current image is suitable as an image to be used for inspection, and outputs the current determination result when the determination results match. If the determination results do not match, the determination unit 135c performs a majority vote based on the past determination result and the current determination result, and determines the determination result based on the majority vote as the current determination result.
  • the current image is one of a plurality of images obtained by continuously capturing images. Since images are captured at short intervals, it is considered that the determination result does not change. Therefore, the image processing apparatus 100 matches the current determination result with the past determination result. Thereby, the image processing apparatus 100 can adjust the determination result even when the accuracy of the determination unit 135a is not preferable.
  • the determination unit 135c stores the current determination result in the result accumulation unit 135b.
  • FIG. 8 is a flowchart illustrating an example of processing executed by a determination unit according to Embodiment 1.
  • Step S31 Based on the composition, brightness, and sharpness obtained by analyzing the current image, the determination unit 135a determines whether the current image is suitable as an image to be used for inspection.
  • Step S32 The determining unit 135c acquires the past determination result from the result accumulating unit 135b.
  • Step S33 The determination unit 135c compares the past determination result and the current determination result.
  • Step S34 The determination unit 135c determines whether the determination results match. If the determination results match, the process proceeds to step S35. If the determination result does not match, the process proceeds to step S36.
  • Step S35 The determination unit 135c outputs the current determination result.
  • Step S36 The determination unit 135c performs a majority vote based on the past determination result and the current determination result, and determines the determination result based on the majority vote as the current determination result.
  • the image processing apparatus 100 does not perform inspection when the image does not include the target object.
  • the image processing apparatus 100 performs inspection when an object is included in the image. Therefore, the image processing apparatus 100 can perform appropriate inspection.
  • the image processing apparatus 100 determines that the image is suitable as an image to be used for inspection based on the composition, brightness, and sharpness even if the image contains an object. Determine whether or not As a result, the image processing apparatus 100 can prevent inspection using inappropriate images.
  • Embodiment 1 a case will be described in which the function of the analysis creation unit 130 is realized by a learned model.
  • the learned model is called a learned model for analysis.
  • a trained model for analysis is a trained model for inferring whether an image is suitable as an image to be used for inspection.
  • the learning phase for creating a trained model for analysis and a trained model for inspection will be explained.
  • an image, an analysis result having the same content as the content output by the analysis creating unit 130, and an inspection result having the same content as the content output from the inspection unit 140 are prepared as learning data.
  • the suitable image may be used as learning data.
  • the learning data may be selected by the user. For example, the user selects an image for which an analysis result indicating that it is a suitable image is output. For example, in the inspection, the screw fastening is inspected based on the clearance of the spring washer portion. Therefore, the user selects an image in which the brightness and sharpness of the spring washer portion are appropriate.
  • the trained model for analysis In the learning phase, if the trained model for inspection outputs an incorrect inspection result, the trained model for analysis is retrained so that it outputs an analysis result indicating that the trained model for analysis is not a suitable image. . Also, the trained model for analysis and the trained model for inspection may be generated separately.
  • a trained model for analysis that infers an image analysis result from an image is generated by machine learning using combinations of images and image analysis results as learning data.
  • a trained model for inspection that infers an inspection result of an object from an image is generated by machine learning using a combination of an image and an inspection result as learning data.
  • Machine learning is performed by a learning device (not shown). The learning device may be built in the image processing device, or may be stored in an external device. Known algorithms such as supervised learning, unsupervised learning, and reinforcement learning can be used as the learning algorithm used by the learning device. In supervised learning, for example, neural network models can be used.
  • the learned model for analysis is acquired by the acquisition unit 120.
  • the acquisition unit 120 acquires the learned model for analysis from the storage unit 110 .
  • the learned model for analysis may be stored in an external device.
  • the obtaining unit 120 obtains the trained model for analysis from the external device.
  • the analysis creation unit 130 uses the image and the trained model for analysis to analyze whether the image is suitable as an image to be used for inspection. Specifically, the analysis creation unit 130 inputs information based on the image to the trained model for analysis, so that the trained model for analysis generates an analysis result as to whether or not the image is suitable as an image to be used for inspection. Output.
  • the analytical trained model has the same function as the analysis creation unit 130 . Therefore, the modified example of the first embodiment has the same effect as the first embodiment even if the trained model for analysis is used.
  • Embodiment 2 Next, Embodiment 2 will be described. In Embodiment 2, mainly matters different from Embodiment 1 will be described. In the second embodiment, descriptions of items common to the first embodiment are omitted.
  • FIG. 9 is a block diagram showing functions of the image processing apparatus according to the second embodiment. 9 that are the same as those shown in FIG. 2 are given the same reference numerals as those shown in FIG.
  • the image processing device 100 a is connected to the imaging device 200 .
  • the image processing device 100 a has an imaging control section 170 .
  • a part or all of the imaging control unit 170 may be realized by a processing circuit. Also, part or all of the imaging control unit 170 may be realized as a module of a program executed by the processor 101 .
  • the analysis creation unit 130 outputs the analysis result to the imaging control unit 170 when the image is not suitable for use in inspection and when the image is suitable for use in inspection.
  • the imaging control unit 170 controls the imaging device 200 so that the imaging device 200 creates an appropriate image based on the analysis result. Detailed functions of the imaging control unit 170 will be described.
  • FIG. 10 is a block diagram illustrating functions of an imaging control unit according to Embodiment 2.
  • the imaging control section 170 has an exposure adjustment section 171 , a focus adjustment section 172 and a composition control section 173 .
  • the exposure adjustment unit 171 adjusts parameters related to exposure based on the luminance indicated by the analysis result. For example, the parameters are aperture, shutter speed, shooting sensitivity, and the like.
  • the exposure adjustment unit 171 adjusts the parameters so as to obtain a predetermined brightness.
  • the exposure adjustment section 171 may adjust parameters based on information regarding the characteristics of the imaging device 200 .
  • the focus adjustment unit 172 adjusts the focus of the imaging device 200 based on the sharpness indicated by the analysis result and the area of the object in the image. Specifically, the focus adjustment unit 172 adjusts the focus of the imaging device 200 so that the sharpness of the region is high.
  • the composition control unit 173 controls the imaging device 200 based on the composition indicated by the analysis result. For example, the composition control unit 173 controls the zoom function of the imaging device 200 based on the composition. Further, for example, when changing the composition, the composition control unit 173 controls the movable units connected to the imaging device 200 based on the composition.
  • the imaging control unit 170 may provide the user with the parameters, information on focus, information on zoom, and information for changing the movable part.
  • the imaging control unit 170 may control the imaging device 200 so that the imaging device 200 creates a plurality of images with different exposures, different focuses, and different compositions.
  • the acquisition unit 120 can acquire a plurality of images obtained by imaging in different states.
  • the analysis/creation unit 130 analyzes each of the plurality of images to determine whether they are suitable images for use in inspection. In this manner, the image processing apparatus 100a can reduce inappropriate images for use in inspection by causing the imaging apparatus 200 to create a plurality of images that are images of different variations.
  • the plurality of images obtained by imaging in different states may be a plurality of images obtained by continuously imaging the object. That is, the plurality of images may be a plurality of images obtained by continuously imaging the object in different states.
  • the determination unit 131d determines the position of the object in the current image and the position of the object in the past image based on the search result for the past image among the plurality of images and the search result for the current image among the plurality of images. is greater than or equal to a preset threshold, the average of the position of the object in the current image and the position of the object in one or more past images is determined as the search result for the current image.
  • the determination unit 135c compares the past determination result and the current determination result, and if the determination results do not match, performs a majority vote based on the past determination result and the current determination result, and determines the determination result based on the majority vote as the current determination result. You may decide as a judgment result.
  • Embodiment 3 Next, Embodiment 3 will be described. In Embodiment 3, mainly matters different from Embodiments 1 and 2 will be described. In the third embodiment, descriptions of items common to the first and second embodiments are omitted.
  • FIG. 11 is a block diagram showing functions of the image processing apparatus according to the third embodiment. 11 that are the same as those shown in FIG. 2 are given the same reference numerals as those shown in FIG.
  • the image processing device 100b has a correction section 180.
  • FIG. A part or all of the correction unit 180 may be implemented by a processing circuit. Also, part or all of the correction unit 180 may be realized as a module of a program executed by the processor 101 .
  • the acquisition unit 120 acquires a plurality of images obtained by continuously imaging the object.
  • Analysis creating unit 130 creates an analysis result for a first image among the plurality of images.
  • the correction unit 180 corrects the second image, which is one of the plurality of images and is the image created after the first image, based on the analysis result. For example, if the analysis result indicates that the analyzed brightness is lower than the threshold, the correction unit 180 performs correction to make the brightness of the second image equal to or higher than the threshold. For example, when the analysis result indicates that the analyzed sharpness is smaller than the threshold, the correction unit 180 performs correction to make the sharpness of the second image equal to or higher than the threshold. By correcting the second image by the image processing apparatus 100b in this manner, the second image becomes an image suitable for inspection.
  • the correction unit 180 may correct the first image based on the analysis result.
  • a plurality of images may be a plurality of images obtained by continuously imaging an object in different states. That is, the plurality of images may be images of different variations created by the imaging device 200 .
  • the correction unit 180 may correct all or part of the plurality of images. For example, the correction unit 180 corrects the multiple images based on the average noise amount of each of the multiple images. This reduces the overall noise in the multiple images. Further, for example, the correcting unit 180 adds a weight to the average luminance of each of the plurality of images, and corrects the plurality of images based on the value obtained by adding the weight. In this manner, the image processing apparatus 100b can perform correction within a range that cannot be corrected with one image.
  • Embodiment 4 Next, Embodiment 4 will be described. In Embodiment 4, mainly matters different from Embodiment 1 will be described. In the fourth embodiment, descriptions of items common to the first embodiment are omitted.
  • FIG. 12 is a block diagram showing functions of the image processing apparatus according to the fourth embodiment. 12 that are the same as those shown in FIG. 2 are assigned the same reference numerals as those shown in FIG.
  • the image processing device 100c has an acquisition unit 120c, an analysis creation unit 130c, and an inspection unit 140c.
  • the acquisition unit 120c acquires sensor information.
  • the acquisition unit 120c acquires sensor information from a sensor.
  • the sensor is attached to the imaging device or to the exterior of the imaging device.
  • the sensor senses the state of the imaging device and the worker.
  • Sensor information is information obtained by detection by a sensor.
  • the sensor information is information obtained by measuring by the sensor.
  • the sensor information includes information indicating the movement of the worker and the imaging device (for example, gyro information), information indicating the line-of-sight direction of the worker, and information indicating the illuminance of the area imaged by the imaging device. , information indicating the distance from the imaging device to the area imaged by the imaging device, and the like.
  • the image processing device 100c can detect a three-dimensional positional relationship including the orientation of the sensor and the imaging device. For example, the image processing device 100c can detect the three-dimensional positional relationship based on sensor information obtained by cooperation between a sensor attached to the imaging device and a sensor attached to the outside of the imaging device. Also, for example, the image processing device 100c can detect a three-dimensional positional relationship by calculating the position of the imaging device based on sensor information obtained from a sensor attached to the outside of the imaging device.
  • the acquiring unit 120c acquires an image and a trained model for inspection in the same manner as in the first to third embodiments.
  • the analysis creation unit 130c (more specifically, the search unit 131) analyzes whether or not the target object is included in the image based on the sensor information and the image. For example, when the line-of-sight detection sensor and the photographing device are integrated, the sensor information includes the line-of-sight information of the worker. The analysis creation unit 130c detects the area that the worker is looking at in the image based on the line-of-sight information. The area viewed by the worker can be said to be the area where the object exists. Therefore, the analysis creation unit 130c analyzes that the object exists in the area. As a result, the analysis creation unit 130c analyzes that the image includes the object.
  • the analysis creation unit 130c analyzes the composition, brightness, and sharpness based on the sensor information and the image.
  • the analysis creation unit 130c will be described in detail.
  • FIG. 13 is a block diagram showing functions of an analysis creating unit according to the fourth embodiment.
  • An image and sensor information are input to the analysis creation unit 130c.
  • the composition analysis unit 132 analyzes the positional relationship between the imaging device and the object as a composition based on the movement of the imaging device indicated by the sensor information. Specifically, the composition analysis unit 132 specifies the current position of the imaging device by temporally adding the position where the imaging device moves based on the position information of the imaging device at a certain point in time. The composition analysis unit 132 analyzes the positional relationship between the current position of the imaging device and the position of the object based on the reference position of the imaging device and the position of the object.
  • the composition analysis unit 132 may use the composition obtained by adding weight to the composition based on the sensor information as the composition based on the image. Also, the composition analysis unit 132 may add weights to search results for past images to search for objects in the current image.
  • the lighting environment analysis unit 133 analyzes the brightness of the area where the object exists based on the sensor information.
  • the sensor information is the exposure of the imaging device.
  • the sensor information is illuminance information.
  • the lighting environment analysis unit 133 adds weights to the brightness based on the image and the brightness based on the sensor information, and analyzes the average of the added values as the brightness input to the determination unit 135 .
  • the sharpness analysis unit 134 analyzes the sharpness of the area where the object exists based on the sensor information. For example, the sharpness analysis unit 134 analyzes the amount of blurring based on the movement of the imaging device indicated by the sensor information. The sharpness analysis unit 134 analyzes the sharpness based on this amount. Also, for example, when the sensor information is information indicating the distance from the imaging device to the area being imaged by the imaging device, the sharpness analysis unit 134 analyzes the defocus based on the distance. The sharpness analysis unit 134 analyzes the sharpness based on the defocus. For example, the sharpness analysis unit 134 adds weights to the sharpness based on the image and the sharpness based on the sensor information, and analyzes the average of the added values as the sharpness input to the determination unit 135. .
  • the searching unit 131 may perform the following processing.
  • 14 is a flowchart illustrating an example of processing executed by a search unit according to Embodiment 4.
  • FIG. 14 the acquisition unit 120c acquires a plurality of images obtained by continuously capturing images of the object.
  • Step S41 The search processing unit 131c acquires a first image, which is a past image, from the image storage unit 131a. Note that the first image is one of the plurality of images.
  • Step S42 The search processing unit 131c acquires the search result for the first image from the search result accumulation unit 131b.
  • Step S43 The search processing unit 131c searches for an object in the second image created after the first image.
  • Step S44 The search processing unit 131c identifies the current position of the imaging device based on the motion of the imaging device indicated by the sensor information.
  • Step S45 The search processing unit 131c calculates the difference between the past position of the imaging device specified based on the sensor information obtained last time and the current position of the imaging device. The difference can be considered as the amount of movement of the object.
  • Step S46 The search processing unit 131c identifies the current position of the object based on the search result for the first image and the difference. That is, the search processing unit 131c identifies the current position of the target object by adding the difference to the position of the target object included in the first image.
  • Step S47 The determination unit 131d compares the position of the object in the second image searched in step S43 with the current position of the object identified in step S46, and calculates an error.
  • Step S48 The determination unit 131d determines whether the error is smaller than the threshold. If the error is smaller than the threshold, the process proceeds to step S49. If the error is greater than or equal to the threshold, the process proceeds to step S50.
  • Step S49 The determination unit 131d outputs the search result for the second image.
  • Step S50 The determination unit 131d determines the average of the position of the object in the second image and the current position of the object as the search result for the second image. In this way, the image processing device 100c adjusts the search result for the second image when the search result for the second image is unsatisfactory. Accordingly, the image processing device 100d analyzes the sharpness and the like for the region indicated by the adjusted search result. Therefore, the image processing device 100d can perform appropriate analysis.
  • the determination unit 131d may create an analysis result indicating that the second image is not suitable as an image used for inspection.
  • the search unit 131 searches using template matching, it is determined whether or not there is matching based on the degree of similarity. If the shooting environment when the template image is created and the shooting environment when the acquired image is created are different, the degree of similarity will be affected. Therefore, the search unit 131 calculates the degree of similarity in consideration of the exposure information indicated by the sensor information. This improves search accuracy.
  • the inspection unit 140c inspects the object included in the image using the sensor information, the image, and the trained model for inspection. .
  • the inspection unit 140c can improve inspection accuracy by using the sensor information. For example, when an object included in an image with low illuminance is inspected without using sensor information, inspection accuracy may be low. Therefore, when the inspection unit 140c inspects an object included in an image with low illuminance using the illuminance indicated by the sensor information, the inspection unit 140c inspects the object in consideration of the sensor information. As a result, the inspection unit 140c can output inspection results with high inspection accuracy.
  • the providing unit 160 may be replaced with the imaging control unit 170 .
  • the imaging control unit 170 may perform focus adjustment based on the sensor information.
  • the imaging control unit 170 may adjust the exposure based on the illuminance information indicated by the sensor information.
  • the imaging control unit 170 may control the imaging device based on sensor information and analysis results.
  • the image processing device 100c can perform highly accurate analysis by using sensor information.
  • Embodiment 5 Next, Embodiment 5 will be described. In Embodiment 5, mainly matters different from those in Embodiment 4 will be described. Further, in the fifth embodiment, descriptions of matters common to the fourth embodiment are omitted.
  • FIG. 15 is a block diagram showing functions of the image processing apparatus according to the fifth embodiment. 15 that are the same as the configuration shown in FIG. 12 are assigned the same reference numerals as those shown in FIG.
  • the image processing device 100c further has a correction unit 180c.
  • the correction unit 180c uses the sensor information to correct the image acquired by the acquisition unit 120c. For example, the correction unit 180c calculates the direction and magnitude of blur caused by the motion of the imaging device based on the motion of the imaging device indicated by the sensor information, and corrects the image based on the calculated result. . Specifically, the correction unit 180c calculates the point spread function h based on the blur direction and blur magnitude.
  • F be the Fourier transform for image f.
  • H the Fourier transform for the point spread function h.
  • the correction unit 180c may correct the sharpness of the image using the sensor information. Further, the correction unit 180c may correct the brightness of the image based on the illuminance indicated by the sensor information. The correction unit 180c may correct the image based on the analysis result created by the analysis creation unit 130c and the sensor information.
  • the image processing apparatus 100c corrects the image using sensor information, thereby increasing the probability that the image is determined to be suitable for use in inspection.
  • Embodiment 6 Next, Embodiment 6 will be described. In Embodiment 6, mainly matters different from those in Embodiment 1 will be described. Further, in the sixth embodiment, descriptions of matters common to the first embodiment are omitted.
  • FIG. 16 is a block diagram showing functions of the image processing apparatus according to the sixth embodiment. 16 that are the same as those shown in FIG. 2 are assigned the same reference numerals as those shown in FIG.
  • the image processing device 100d has an acquisition unit 120d, an analysis creation unit 130d, and an output control unit 150d.
  • the acquisition unit 120d acquires sensor information.
  • the acquisition unit 120d also acquires drawing information.
  • the acquisition unit 120d acquires drawing information from a server.
  • the drawing information is 3D-CAD.
  • Drawing information includes one or more objects.
  • the drawing information is information related to design such as various dimensions and tolerances of the fastening portion of the screw, which is the object, and the object to be fastened, and indicates the whole or part of the product.
  • the acquisition unit 120d acquires an image and a trained model for inspection as in the first embodiment.
  • FIG. 17 is a block diagram showing functions of an analysis creating unit according to the sixth embodiment.
  • An image, sensor information, and drawing information are input to the analysis creation unit 130d.
  • Analysis creation unit 130 d has coordinate processing unit 136 .
  • the coordinate processing unit 136 aligns the coordinate system of the drawing information with the coordinate system of the image using the image, the sensor information, and the drawing information.
  • the combined coordinate system will be referred to as the world coordinate system.
  • a predetermined position is set as the origin of the world coordinate system.
  • a feature point of the object indicated by the drawing information may be set at the origin of the world coordinate system.
  • the coordinate processing unit 136 calculates coordinates of feature points in the world coordinate system.
  • the coordinate processing unit 136 calculates the coordinates of the feature points based on the distances between the origin and the feature points.
  • the coordinate processing unit 136 also calculates the coordinates of each pixel of the image in the world coordinate system based on the sensor information. For example, if the sensor is a gyro sensor, the coordinate processing unit 136 calculates the coordinates of each pixel in the world coordinate system based on the orientation of the imaging device indicated by the sensor information.
  • the search processing unit 131c of the search unit 131 searches for an object included in the image based on the coordinates of the object included in the drawing information. Since the same coordinate system is used in this way, the search processing unit 131c can search for the object included in the image based on the drawing information. Further, when the drawing information includes position information of an object (for example, a screw), the search processing unit 131c converts the position information into the world coordinate system, and based on the converted position information, Contained objects (eg, screws) may be searched.
  • an object for example, a screw
  • the search processing unit 131c searches for an object included in the image based on the image.
  • the search processing unit 131c compares the position of the object searched based on the drawing information and the position of the object searched based on the image to calculate an error.
  • the determination unit 131d outputs the search result based on the image when the error is smaller than the threshold. If the error is equal to or greater than the threshold, the determination unit 131d determines the average of the positions of the object searched based on the drawing information and the positions of the object searched based on the image as the search result for the image. may In this way, the image processing device 100d adjusts the search result for the image when the search result for the image is unsatisfactory. Accordingly, the image processing device 100d analyzes the sharpness and the like for the region indicated by the adjusted search result. Therefore, the image processing device 100d can perform appropriate analysis.
  • the search unit 131 outputs the search result and the coordinate information in association with each other. If the determining unit 135 determines that the image is suitable as an image to be used for inspection, the determining unit 135 associates the analysis result, the image, and the coordinate information and outputs them.
  • FIG. 18 is a block diagram showing functions of an output control unit according to the sixth embodiment.
  • the output control unit 150 d has a view specifying unit 151 , a result accumulation unit 152 , a determination unit 153 and an output unit 154 .
  • the visual field identification unit 151 identifies the visual field and visual field area of the worker based on the line-of-sight information indicated by the sensor information.
  • the result accumulation unit 152 accumulates inspection results. When the preset number is exceeded, the oldest test results are deleted.
  • the decision unit 153 may decide whether to provide the inspection result to the worker.
  • the determination part 153 determines the provision timing. For example, the determining unit 153 detects whether or not the worker is working based on the information specified by the visual field specifying unit 151, and determines the provision timing based on the detection result.
  • the determining unit 153 determines to output the current inspection result when the current inspection result is different from the past inspection result. That is, when the test result changes, the determination unit 153 controls to output the test result. This prevents the operator from being unable to recognize the display content due to frequent switching of the display content.
  • the decision unit 153 may decide to output the current test result and the past test result at the same time. For example, when the past inspection object is the screw A and the current inspection object is the screw B, the determining unit 153 determines to output the inspection result of the screw A and the inspection result of the screw B at the same time. .
  • the decision unit 153 decides where to output the analysis results. For example, the determining unit 153 determines to output to a display viewed by the worker. Also, the determining unit 153 may determine to display the analysis results in a list format at the edge of the display. When the output target is a see-through type head-mounted type MR (Mixed Reality) device, the determining unit 153 identifies the target based on the coordinate information, and superimposes the analysis result on the target using a superimposed display method. may be determined.
  • the output unit 154 outputs the analysis result based on the content of the decision made by the decision unit 153 . Also, the output unit 154 may output information indicating whether or not all inspection objects have been inspected, which is included in the drawing information. Also, the output unit 154 may output the information of the object indicated by the drawing information and the 3D model of the object.
  • compositions, brightness, and sharpness are analyzed. At least one of composition, brightness, and sharpness may be analyzed. Note that at least one of composition, brightness, and sharpness is also called an analysis target.
  • Embodiment 1 the case where the trained model for analysis is used has been described.
  • Embodiments 2 to 6 a trained model for analysis may be used.
  • the trained model for analysis has the same functions as the analysis creation units of the second to sixth embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

画像処理装置（１００）は、画像と、検査の対象物を検査するための検査用学習済モデルとを取得する取得部（１２０）と、画像を用いて、検査の対象物が画像に含まれているか否かを解析し、画像に対象物が含まれている場合、画像が検査に用いられる画像として適当であることを示す解析結果を作成する解析作成部（１３０）と、画像が検査に用いられる画像として適当であることを解析結果が示している場合、画像と検査用学習済モデルとを用いて、画像に含まれている対象物を検査する検査部（１４０）と、を有する。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　対象物を検査する方法として、対象物を含む画像と学習済モデルとを用いて、対象物を検査する方法がある。当該学習済モデルを作成するには、大量の画像を学習データとして用意する必要がある。ここで、大量の画像を用意しない方法が提案されている（特許文献１を参照）。
特開２０２０－１０６９３５号公報
　ところで、検査を行う学習済モデルを用いる場合、対象物が画像に含まれている必要がある。例えば、ベルトコンベアの上方に撮像装置が固定されている場合、撮像装置は、ベルトコンベアの上に存在する対象物を撮像する。そのため、画像には、対象物が含まれる。しかし、撮像装置が固定されていない場合、対象物が画像に含まれないことがある。例えば、撮像装置が固定されていない場合とは、作業者に撮像装置が取り付けられている場合である。このように、対象物が画像に含まれない場合、学習済モデルを用いても、適切な検査ができない。
　本開示の目的は、適切な検査を行うことである。
　本開示の一態様に係る画像処理装置が提供される。画像処理装置は、画像と、検査の対象物を検査するための検査用学習済モデルとを取得する取得部と、前記画像を用いて、前記対象物が前記画像に含まれているか否かを解析し、前記画像に前記対象物が含まれている場合、前記画像が検査に用いられる画像として適当であることを示す解析結果を作成する解析作成部と、前記画像が検査に用いられる画像として適当であることを前記解析結果が示している場合、前記画像と前記検査用学習済モデルとを用いて、前記画像に含まれている前記対象物を検査する検査部と、を有する。
　本開示によれば、適切な検査を行うことができる。
実施の形態１の画像処理装置が有するハードウェアを示す図である。 実施の形態１の画像処理装置の機能を示すブロック図である。 実施の形態１の解析作成部の機能を示すブロック図である。 実施の形態１の解析作成部が実行する処理の例を示すフローチャートである。 実施の形態１の探索部の機能を示すブロック図である。 実施の形態１の探索部が実行する処理の例を示すフローチャートである。 実施の形態１の判定部の機能を示すブロック図である。 実施の形態１の判定部が実行する処理の例を示すフローチャートである。 実施の形態２の画像処理装置の機能を示すブロック図である。 実施の形態２の撮像制御部の機能を示すブロック図である。 実施の形態３の画像処理装置の機能を示すブロック図である。 実施の形態４の画像処理装置の機能を示すブロック図である。 実施の形態４の解析作成部の機能を示すブロック図である。 実施の形態４の探索部が実行する処理の例を示すフローチャートである。 実施の形態５の画像処理装置の機能を示すブロック図である。 実施の形態６の画像処理装置の機能を示すブロック図である。 実施の形態６の解析作成部の機能を示すブロック図である。 実施の形態６の出力制御部の機能を示すブロック図である。
　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態１．
　図１は、実施の形態１の画像処理装置が有するハードウェアを示す図である。画像処理装置１００は、画像処理方法を実行する装置である。画像処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
　プロセッサ１０１は、画像処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。また、画像処理装置１００は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
　揮発性記憶装置１０２は、画像処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、画像処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。
　次に、画像処理装置１００が有する機能を説明する。
　図２は、実施の形態１の画像処理装置の機能を示すブロック図である。画像処理装置１００は、記憶部１１０、取得部１２０、解析作成部１３０、検査部１４０、及び出力制御部１５０、及び提供部１６０を有する。
　記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
　取得部１２０、解析作成部１３０、検査部１４０、及び出力制御部１５０、及び提供部１６０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、解析作成部１３０、検査部１４０、及び出力制御部１５０、及び提供部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、画像処理プログラムとも言う。例えば、画像処理プログラムは、記録媒体に記録されている。
　取得部１２０は、画像を取得する。例えば、取得部１２０は、画像を記憶部１１０から取得する。また、例えば、取得部１２０は、画像を撮像装置から取得する。なお、撮像装置の図示は、省略されている。
　取得部１２０は、検査用学習済モデルを取得する。例えば、取得部１２０は、検査用学習済モデルを記憶部１１０から取得する。ここで、検査用学習済モデルは、外部装置（例えば、クラウドサーバ）に格納されてもよい。検査用学習済モデルが外部装置に格納されている場合、取得部１２０は、検査用学習済モデルを外部装置から取得する。なお、検査用学習済モデルは、検査の対象物を検査するための学習済モデルである。言い換えれば、検査用学習済モデルは、画像に含まれている対象物の検査結果を推論するための学習済モデルである。
　解析作成部１３０は、画像を用いて、検査の対象物が画像に含まれているか否かを解析する。詳細には、解析作成部１３０は、画像と予め設定された方法とを用いて、検査の対象物が画像に含まれているか否かを解析する。例えば、予め設定された方法は、パターンマッチング、一般物体認識技術、特定物体認識技術などである。解析作成部１３０は、画像に対象物が含まれている場合、画像が検査に用いられる画像として適当であることを示す解析結果を作成してもよい。解析作成部１３０は、画像に対象物が含まれていない場合、画像が検査に用いられる画像として適当でないことを示す解析結果を作成してもよい。
　解析作成部１３０の詳細な機能は、後で説明する。
　また、解析作成部１３０は、画像が検査の対象として適当でない場合及び画像が検査に用いられる画像として適当である場合、解析結果と画像とを提供部１６０に出力する。
　検査部１４０は、画像が検査に用いられる画像として適当であることを解析結果が示している場合、画像と検査用学習済モデルとを用いて、画像に含まれている対象物を検査する。詳細には、検査部１４０は、画像から得られる情報を検査用学習済モデルに入力することで、検査用学習済モデルが出力する検査結果を得る。なお、例えば、検査では、対象物に傷が有るか無いか、部品の欠落が有るか無いか、作業漏れが有るか無いかが検査される。また、例えば、作業漏れとは、ネジの締結忘れ、又はネジの締結不足である。
　また、検査部１４０は、解析作成部１３０で実行された解析の内容と、画像と、検査用学習済モデルとを用いて、画像に含まれる対象物を検査してもよい。さらに、検査部１４０は、取得部１２０によって取得された画像から、切り出された対象物を含む画像（すなわち、背景が削除された画像）と、検査用学習済モデルとを用いて、当該対象物を検査してもよい。これにより、検査部１４０は、より精度の高い検査を行うことができる。なお、当該検査が行われる場合、学習フェーズでは、切り出された対象物を含む画像を用いて検査を行うための学習が行われる。そして、学習が行われることで、当該検査で用いられる検査用学習済モデルが、生成される。
　出力制御部１５０は、検査結果を出力する。例えば、出力制御部１５０は、検査結果をディスプレイに出力する。また、例えば、出力制御部１５０は、検査結果を外部装置に出力する。出力制御部１５０は、検査結果を記憶部１１０に出力してもよい。
　提供部１６０は、解析結果に基づいて、適当な画像が作成されるための情報を提供する。なお、解析結果は、画像に対して解析を行った結果である。また、解析結果は、後述する解析対象に対する解析の結果を含む、と表現してもよい。例えば、対象物が画像に含まれていない場合、提供部１６０は、対象物が画像に含まれていないことを示す情報をユーザに提供する。そして、提供部１６０は、対象物が画像に含まれるように撮像することをユーザに促す情報を、ユーザに提供する。また、例えば、提供部１６０は、対象物を正面から撮像するべきときに側面から対象物が撮像されている場合、構図が適切でないことを示す情報をユーザに提供する。そして、提供部１６０は、構図を見直すことをユーザに促す情報を、ユーザに提供する。また、画像の輝度及び鮮鋭度が適切でない場合、提供部１６０は、輝度及び鮮鋭度が適切でないことを示す情報をユーザに提供する。なお、例えば、ユーザに提供される情報は、ディスプレイに表示される。これにより、ユーザは、提供される情報を認識する。また、ユーザに提供される情報は、音声で提供されてもよい。
　提供部１６０が情報を提供することで、ユーザは、撮像装置を用いて、適当な画像を撮像することができる。
　次に、解析作成部１３０の詳細な機能を説明する。
　図３は、実施の形態１の解析作成部の機能を示すブロック図である。解析作成部１３０は、探索部１３１、構図解析部１３２、照明環境解析部１３３、鮮鋭度解析部１３４、及び判定部１３５を有する。
　探索部１３１、構図解析部１３２、照明環境解析部１３３、鮮鋭度解析部１３４、及び判定部１３５の機能は、後で説明する。
　図４は、実施の形態１の解析作成部が実行する処理の例を示すフローチャートである。
　（ステップＳ１１）探索部１３１は、取得部１２０が取得した画像と予め設定された方法とを用いて、画像内の対象物を探索する。詳細には、探索部１３１は、画像内の対象物の領域を探索する。例えば、予め設定された方法は、パターンマッチング、一般物体認識技術、特定物体認識技術などである。
　（ステップＳ１２）探索部１３１は、画像に対象物が含まれているか否かを判定する。画像に対象物が含まれている場合、処理は、ステップＳ１３に進む。画像に対象物が含まれていない場合、探索部１３１は、画像が検査の対象として適当でないことを示す解析結果を出力する。そして、処理は、終了する。
　（ステップＳ１３）構図解析部１３２は、画像内の対象物の領域に基づいて、対象物に関する構図を解析する。例えば、構図解析部１３２は、当該画像を生成した撮像装置と対象物との位置関係を構図として、解析する。具体的には、構図解析部１３２は、撮像装置が対象物を正面又は側面から撮像しているかを解析する。なお、当該位置関係は、３次元位置関係と考えてもよい。当該位置関係は、相対座標で表されるが、絶対座標（例えば、世界座標とも言う）で表されてもよい。また、例えば、構図解析部１３２は、対象物が撮像されたときのズームの度合を構図として、解析する。具体的には、構図解析部１３２は、対象物がどのくらいの大きさで撮像されたかを解析する。
　照明環境解析部１３３は、画像内の対象物の領域に基づいて、当該領域の輝度を解析する。言い換えれば、照明環境解析部１３３は、当該領域の輝度分布を解析する。また、言い換えれば、照明環境解析部１３３は、対象物がどのくらいの明るさで画像に写っているかを解析する。また、照明環境解析部１３３は、当該領域の平均輝度を解析してもよい。さらに、照明環境解析部１３３は、画像内の対象物の領域に基づいて、照明によって、対象物がどのような照らされ方をしているかを解析してもよい。
　鮮鋭度解析部１３４は、画像内の対象物の領域に基づいて、当該領域の鮮鋭度を解析する。鮮鋭度は、撮像装置におけるピントのずれ、及び撮像時における撮像装置のブレによって低下する。鮮鋭度解析部１３４は、ピントのずれ、撮像装置のブレなどの要因ごとに鮮鋭度を解析してもよい。なお、鮮鋭度を解析する場合、鮮鋭度解析部１３４は、当該領域を周波数に変換し、周波数に基づく値及び分布から、鮮鋭度を解析してもよい。
　（ステップＳ１４）判定部１３５は、構図、輝度、及び鮮鋭度（すなわち、解析対象の解析結果）に基づいて、画像が検査に用いられる画像として適当であるか否かを判定する。言い換えれば、判定部１３５は、構図、輝度、及び鮮鋭度を総合的に判定して、画像が検査に用いられる画像として適当であるか否かを判定する。
　例えば、判定部１３５は、判定処理の中で、以下の処理を行う。判定部１３５は、解析された構図と予め設定された構図とを比較する。判定部１３５は、解析された輝度と予め設定された閾値とを比較する。判定部１３５は、解析された鮮鋭度と予め設定された閾値とを比較する。
　また、例えば、判定部１３５は、輝度及び鮮鋭度のうちの少なくとも１つを予め用意した数式に入力し、当該数式によって出力された値に基づいて、適当であるか否かを判定してもよい。
　画像が検査に用いられる画像として適当であるか否かを判定する条件を、具体例を用いて説明する。例えば、画像には、対象物である、ネジが含まれている。１つの目の条件としては、締結部であるネジと、締結対象の物体との接触面が見えるように、ネジの締結方向に対して所定の角度以上からネジを撮像した構図であることである。２つの目の条件としては、締結が不良な状態のときに、ネジと締結対象の物体との間に生じる溝がはっきりと検出される鮮鋭度であることである。３つの目の条件としては、当該溝、ネジ、及び締結対象の物体が判別できる輝度であることである。なお、当該角度、当該鮮鋭度、及び当該輝度は、熟練工のノウハウに基づいて決定されてもよいし、検査用学習済モデルが適切な検査を行うための値が設定されてもよい。検査用学習済モデルが適切な検査を行うための値は、例えば、検査用学習済モデルの生成に用いた学習データに含まれる対象物の角度、鮮鋭度、及び輝度を求めた値でもよい。
　また、構図から導かれる撮像角度、解析された鮮鋭度、及び解析された輝度には、重みが付加されてもよい。判定部１３５は、重みが付加された撮像角度、鮮鋭度、及び輝度の合計値と、予め設定された値とに基づいて、画像が検査に用いられる画像として適当であるか否かを判定してもよい。
　画像が検査に用いられる画像として適当である場合、処理は、ステップＳ１５に進む。画像が検査の対象として適当でない場合、判定部１３５は、画像が検査の対象として適当でないことを示す解析結果を出力する。そして、処理は、終了する。
　（ステップＳ１５）判定部１３５は、画像が検査に用いられる画像として適当であることを示す解析結果、画像内の対象物の領域を示す領域情報、及び画像を検査部１４０に出力する。また、領域情報は、解析結果に含まれてもよい。なお、当該解析結果は、解析作成部１３０によって作成されると言える。
　このように、画像処理装置１００は、画像に対象物が含まれている場合でも、画像が検査に用いられる画像として適当であるか否かを判定する。これにより、画像処理装置１００は、適当でない画像を用いた検査を防止できる。
　ここで、探索部１３１は、次のような機能を有してもよい。
　図５は、実施の形態１の探索部の機能を示すブロック図である。探索部１３１は、画像蓄積部１３１ａ、探索結果蓄積部１３１ｂ、探索処理部１３１ｃ、及び決定部１３１ｄを有する。なお、画像蓄積部１３１ａ及び探索結果蓄積部１３１ｂは、記憶部１１０で実現されてもよい。
　まず、取得部１２０は、対象物を連続して撮像することにより得られた複数の画像を取得する。例えば、当該複数の画像は、１秒間に、対象物を連続して撮像することにより得られた３０枚の画像である。すなわち、当該複数の画像は、撮像装置が連写することにより得られた画像である。また、当該複数の画像は、動画を構成する複数のフレームでもよい。
　画像蓄積部１３１ａは、当該複数の画像のうち、対象物の探索が行われた画像である過去画像を蓄積する。過去画像は連写することに得られた画像であるため、過去画像が作成された時刻は、後述する現在画像が作成された時刻と大きく変わらない。過去画像は、現在画像と同じ対象物を含んでいる。また、過去画像と現在画像とに含まれている対象物の位置は、大きく変わらない。また、画像蓄積部１３１ａには、予め設定された数の画像が蓄積される。当該数が超える場合、画像が古い順に削除される。類似する複数の画像が画像蓄積部１３１ａに格納されている場合、当該複数の画像が優先的に削除されてもよい。異なる画像が、なるべく、画像蓄積部１３１ａに格納されるようにするためである。また、後述するように、異なる画像を用いた比較が行われるようにするためである。なお、例えば、当該類似は、各画素値の絶対差の平均が一定以下であるか否かで判定される。また、画像蓄積部１３１ａに格納される画像は、予め設定された期間が経過した場合、削除されてもよい。
　探索結果蓄積部１３１ｂは、過去画像に対する探索結果を蓄積する。また、探索結果蓄積部１３１ｂに格納されている探索結果は、古い順に削除される。
　探索処理部１３１ｃは、当該複数の画像のうち、探索が行われていない画像である現在画像内の対象物を探索する。探索方法は、ステップＳ１１と同じである。
　また、探索処理部１３１ｃは、過去画像と、過去画像に対する探索結果とに基づいて、現在画像内の対象物を探索してもよい。例えば、現在画像が時刻ｔに作成されたものとする。時刻ｔ－１に作成された過去画像に対する探索結果をｆ（ｔ－１）とする。時刻ｔ－２に作成された過去画像に対する探索結果をｆ（ｔ－２）とする。現在画像に対する探索結果ｆ（ｔ）は、“ｆ（ｔ－１）＋｛ｆ（ｔ－１）－ｆ（ｔ－２）｝”で、推定される。なお、“ｆ（ｔ－１）＋｛ｆ（ｔ－１）－ｆ（ｔ－２）｝”は、“ｔ－１”と“ｔ－２”との差が微小な場合、及び撮像装置と対象物との動きが急激に変化しない場合に、成立する。これにより、探索処理部１３１ｃは、現在画像内の対象物を探索できる。また、探索処理部１３１ｃは、過去画像に対する探索結果に重みを付加することにより得られた探索結果を、現在画像に対する探索結果としてもよい。
　決定部１３１ｄは、過去画像と、過去画像に対する探索結果と、現在画像に対する探索結果とに基づいて、現在画像内の対象物の位置と、過去画像内の対象物の位置とを比較し、誤差が予め設定された閾値よりも小さい場合、現在画像に対する探索結果を出力する。決定部１３１ｄは、当該誤差が当該閾値以上である場合、現在画像内の対象物の位置と、過去画像内の対象物の位置との平均を、現在画像に対する探索結果として決定する。決定部１３１ｄは、当該平均に重みを付加してもよい。決定部１３１ｄは、当該誤差が当該閾値以上である場合、現在画像内の対象物の領域と、過去画像内の対象物の領域とをグルーピングし、グルーピングされた複数の領域の中から多数決で領域を決定し、決定された領域を、現在画像に対する探索結果として決定してもよい。
　決定部１３１ｄは、探索結果を探索結果蓄積部１３１ｂに格納する。
　図６は、実施の形態１の探索部が実行する処理の例を示すフローチャートである。
　（ステップＳ２１）探索処理部１３１ｃは、画像蓄積部１３１ａから過去画像を取得する。
　（ステップＳ２２）探索処理部１３１ｃは、探索結果蓄積部１３１ｂから過去画像に対する探索結果を取得する。
　（ステップＳ２３）探索処理部１３１ｃは、現在画像内の対象物を探索する。
　（ステップＳ２４）決定部１３１ｄは、過去画像と、過去画像に対する探索結果と、現在画像に対する探索結果とに基づいて、現在画像内の対象物の位置と、過去画像内の対象物の位置とを比較する。
　（ステップＳ２５）決定部１３１ｄは、誤差が当該閾値よりも小さいか否かを判定する。誤差が当該閾値よりも小さい場合、処理は、ステップＳ２６に進む。誤差が当該閾値以上である場合、処理は、ステップＳ２７に進む。
　（ステップＳ２６）決定部１３１ｄは、現在画像に対する探索結果を出力する。
　（ステップＳ２７）決定部１３１ｄは、現在画像内の対象物の位置と、１以上の過去画像内の対象物の位置との平均を、現在画像に対する探索結果として決定する。なお、平均を用いる方法は、一例である。このように、画像処理装置１００は、現在画像に対する探索結果が思わしくない場合、現在画像に対する探索結果を調整する。これにより、画像処理装置１００は、調整された探索結果が示す領域に対して、鮮鋭度などの解析を行う。よって、画像処理装置１００は、適切な解析を行える。
　なお、ステップＳ２６又はステップＳ２７の後、現在画像に対する探索結果が示す領域に基づいて、構図、輝度、及び鮮鋭度が解析される。例えば、ステップＳ２６の後、現在画像内の対象物の領域に基づいて、構図、輝度、及び鮮鋭度が解析される。
　ここで、取得部１２０が、対象物を連続して撮像することにより得られた複数の画像を取得する場合、判定部１３５は、次のような機能を有してもよい。
　図７は、実施の形態１の判定部の機能を示すブロック図である。判定部１３５は、判定部１３５ａ、結果蓄積部１３５ｂ、及び決定部１３５ｃを有する。なお、結果蓄積部１３５ｂは、記憶部１１０で実現されてもよい。
　判定部１３５ａは、現在画像を解析することにより得られた構図、輝度、及び鮮鋭度（すなわち、解析対象の結果）に基づいて、現在画像が検査に用いられる画像として適当であるか否かを判定する。詳細には、判定部１３５ａは、ステップＳ１４と同じ処理を実行する。
　結果蓄積部１３５ｂは、過去画像が検査に用いられる画像として適当であるか否かを示す過去判定結果を蓄積する。過去判定結果は、予め設定された数又は予め設定された期間が超えた場合、古い順に削除される。
　決定部１３５ｃは、過去判定結果と、現在画像が検査に用いられる画像として適当であるか否かを示す現在判定結果とを比較し、判定結果が一致する場合、現在判定結果を出力する。決定部１３５ｃは、判定結果が一致しない場合、過去判定結果と現在判定結果とに基づいて、多数決を行い、多数決に基づく判定結果を、現在判定結果として決定する。ここで、現在画像は、連続して撮像することにより得られた複数の画像のうちの１つの画像である。短い間隔で撮像されているため、判定結果は、変化しないと考えられる。そのため、画像処理装置１００は、現在判定結果を過去判定結果に合わせる。これにより、画像処理装置１００は、判定部１３５ａの精度が好ましくない場合でも、判定結果を調整できる。
　決定部１３５ｃは、現在判定結果を結果蓄積部１３５ｂに格納する。
　図８は、実施の形態１の判定部が実行する処理の例を示すフローチャートである。
　（ステップＳ３１）判定部１３５ａは、現在画像を解析することにより得られた構図、輝度、及び鮮鋭度に基づいて、現在画像が検査に用いられる画像として適当であるか否かを判定する。
　（ステップＳ３２）決定部１３５ｃは、過去判定結果を結果蓄積部１３５ｂから取得する。
　（ステップＳ３３）決定部１３５ｃは、過去判定結果と現在判定結果とを比較する。
　（ステップＳ３４）決定部１３５ｃは、判定結果が一致するか否かを判定する。判定結果が一致する場合、処理は、ステップＳ３５に進む。判定結果が一致しない場合、処理は、ステップＳ３６に進む。
　（ステップＳ３５）決定部１３５ｃは、現在判定結果を出力する。
　（ステップＳ３６）決定部１３５ｃは、過去判定結果と現在判定結果とに基づいて、多数決を行い、多数決に基づく判定結果を、現在判定結果として決定する。
　実施の形態１によれば、画像処理装置１００は、画像に対象物が含まれない場合、検査を行わない。画像処理装置１００は、画像に対象物が含まれている場合、検査を行う。よって、画像処理装置１００は、適切な検査を行うことができる。
　また、実施の形態１によれば、画像処理装置１００は、画像に対象物が含まれている場合でも、構図、輝度、及び鮮鋭度に基づいて、画像が検査に用いられる画像として適当であるか否かを判定する。これにより、画像処理装置１００は、適当でない画像を用いた検査を防止できる。
実施の形態１の変形例．
　実施の形態１の変形例では、解析作成部１３０の機能が学習済モデルで実現される場合を説明する。ここで、当該学習済モデルは、解析用学習済モデルと呼ぶ。解析用学習済モデルは、画像が検査に用いられる画像として適切であるか否かを推論するための学習済モデルである。
　まず、解析用学習済モデルと検査用学習済モデルを作成する学習フェーズを説明する。学習フェーズでは、画像、解析作成部１３０が出力する内容と同じ内容の解析結果、検査部１４０が出力する内容と同じ内容の検査結果が、学習データとして用意される。また、検査用学習済モデルの学習では、解析用学習済モデルが出力する解析結果が、適当な画像であることを示している場合、適当な画像が、学習データとして用いられてもよい。
　学習データは、ユーザによって選択されてもよい。例えば、ユーザは、適当な画像であることを示す解析結果が出力されるような画像を選択する。例えば、検査では、スプリングワッシャ部分の隙間に基づいて、ネジ締結が検査される。そのため、ユーザは、スプリングワッシャ部分の輝度及び鮮鋭度が適切な画像を選択する。
　学習フェーズでは、検査用学習済モデルが誤った検査結果を出力する場合、解析用学習済モデルが適当な画像でないことを示す解析結果を出力するように、解析用学習済モデルが再学習される。また、解析用学習済モデルと検査用学習済モデルは、個別に生成されてもよい。画像から画像の解析結果を推論する解析用学習済モデルは、画像と画像の解析結果との組合せを学習データとして機械学習により生成される。画像から対象物の検査結果を推論する検査用学習済モデルは、画像と検査結果との組合せを学習データとして機械学習により生成される。
　機械学習は、図示しない学習装置により行われる。学習装置は、画像処理装置に内蔵されてもよいし、外部装置に格納されてもよい。学習装置が用いる学習アルゴリズムは、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。教師あり学習では、例えば、ニューラルネットワークモデルを利用することができる。
　解析用学習済モデルは、取得部１２０によって、取得される。例えば、取得部１２０は、解析用学習済モデルを記憶部１１０から取得する。ここで、解析用学習済モデルは、外部装置に格納されてもよい。解析用学習済モデルが外部装置に格納されている場合、取得部１２０は、解析用学習済モデルを外部装置から取得する。
　解析作成部１３０は、画像と解析用学習済モデルとを用いて、画像が検査に用いられる画像として適当であるか否かを解析する。詳細には、解析作成部１３０が画像に基づく情報を解析用学習済モデルに入力することで、解析用学習済モデルは、画像が検査に用いられる画像として適当であるか否かの解析結果を出力する。上述したように、解析用学習済モデルは、解析作成部１３０と同じ機能を有する。
　よって、実施の形態１の変形例は、解析用学習済モデルが用いられても、実施の形態１と同じ効果を奏する。
実施の形態２．
　次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。
　図９は、実施の形態２の画像処理装置の機能を示すブロック図である。図２に示される構成と同じ図９の構成は、図２に示される符号と同じ符号を付している。
　画像処理装置１００ａは、撮像装置２００と接続する。画像処理装置１００ａは、撮像制御部１７０を有する。
　撮像制御部１７０の一部又は全部は、処理回路によって実現してもよい。また、撮像制御部１７０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。
　まず、解析作成部１３０は、画像が検査に用いられる画像として適当でない場合及び画像が検査に用いられる画像として適当である場合、解析結果を撮像制御部１７０に出力する。
　撮像制御部１７０は、解析結果に基づいて、撮像装置２００が適当な画像を作成するために、撮像装置２００を制御する。撮像制御部１７０の詳細な機能を説明する。
　図１０は、実施の形態２の撮像制御部の機能を示すブロック図である。撮像制御部１７０は、露出調整部１７１、ピント調整部１７２、及び構図制御部１７３を有する。
　露出調整部１７１は、解析結果が示す輝度に基づいて、露出に関するパラメータを調整する。例えば、パラメータは、絞り、シャッター速度、撮影感度などである。露出調整部１７１は、予め決められた輝度になるように、パラメータを調整する。また、露出調整部１７１は、撮像装置２００の特性に関する情報に基づいて、パラメータを調整してもよい。
　ピント調整部１７２は、解析結果が示す鮮鋭度と、画像内の対象物の領域とに基づいて、撮像装置２００のピントを調整する。詳細には、ピント調整部１７２は、当該領域の鮮鋭度が高くなるように、撮像装置２００のピントを調整する。
　構図制御部１７３は、解析結果が示す構図に基づいて、撮像装置２００を制御する。例えば、構図制御部１７３は、構図に基づいて、撮像装置２００のズーム機能を制御する。また、例えば、構図を変更する場合、構図制御部１７３は、構図に基づいて、撮像装置２００に接続されている可動部を制御する。
　撮像制御部１７０は、当該パラメータ、ピントに関する情報、ズームに関する情報、及び可動部を変更させるための情報をユーザに提供してもよい。
　また、撮像制御部１７０は、異なる露出、異なるピント、及び異なる構図で撮像装置２００が複数の画像を作成するように、撮像装置２００を制御してもよい。これにより、取得部１２０は、異なる状態で撮像することにより得られた複数の画像を取得することができる。そして、解析作成部１３０は、複数の画像のそれぞれに対して、検査に用いられる画像として適当な画像であるか否かを解析する。このように、画像処理装置１００ａは、異なるバリエーションの画像である複数の画像を撮像装置２００に作成させることで、検査に用いられる画像として不適当な画像を減らすことができる。
　また、異なる状態で撮像することにより得られた複数の画像は、対象物を連続して撮像することにより得られた複数の画像でもよい。すなわち、複数の画像は、異なる状態で対象物を連続して撮像することにより得られた複数の画像でもよい。決定部１３１ｄは、複数の画像のうちの過去画像に対する探索結果と、複数の画像のうちの現在画像に対する探索結果とに基づいて、現在画像内の対象物の位置と、過去画像内の対象物の位置との誤差が予め設定された閾値以上である場合、現在画像内の対象物の位置と、１以上の過去画像内の対象物の位置との平均を、現在画像に対する探索結果として決定してもよい。さらに、決定部１３５ｃは、過去判定結果と現在判定結果とを比較し、判定結果が一致しない場合、過去判定結果と現在判定結果とに基づいて、多数決を行い、多数決に基づく判定結果を、現在判定結果として決定してもよい。
実施の形態３．
　次に、実施の形態３を説明する。実施の形態３では、実施の形態１，２と相違する事項を主に説明する。そして、実施の形態３では、実施の形態１，２と共通する事項の説明を省略する。
　図１１は、実施の形態３の画像処理装置の機能を示すブロック図である。図２に示される構成と同じ図１１の構成は、図２に示される符号と同じ符号を付している。
　画像処理装置１００ｂは、補正部１８０を有する。補正部１８０の一部又は全部は、処理回路によって実現してもよい。また、補正部１８０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。
　まず、取得部１２０は、対象物を連続して撮像することにより得られた複数の画像を取得する。
　解析作成部１３０は、複数の画像のうちの第１の画像に対する解析結果を作成する。
　補正部１８０は、当該解析結果に基づいて、複数の画像のうちの１つの画像であり、かつ第１の画像の次に作成された画像である第２の画像を補正する。例えば、解析された輝度が閾値よりも小さいことを解析結果が示している場合、補正部１８０は、第２の画像の輝度を閾値以上にするための補正を行う。例えば、解析された鮮鋭度が閾値よりも小さいことを解析結果が示している場合、補正部１８０は、第２の画像の鮮鋭度を閾値以上にするための補正を行う。このように、画像処理装置１００ｂが第２の画像を補正することで、第２の画像は、検査に適した画像になる。
　また、第１の画像が検査に用いられる画像として適当でないことを解析結果が示している場合、補正部１８０は、当該解析結果に基づいて、第１の画像を補正してもよい。
　複数の画像は、異なる状態で対象物を連続して撮像することにより得られた複数の画像でもよい。すなわち、複数の画像は、撮像装置２００が作成した異なるバリエーションの画像でもよい。補正部１８０は、複数の画像の全て又は一部を補正してもよい。例えば、補正部１８０は、複数の画像のそれぞれのノイズ量の平均に基づいて、複数の画像を補正する。これにより、複数の画像における全体のノイズが、低減される。また、例えば、補正部１８０は、複数の画像のそれぞれの輝度の平均に重みを付加し、重みを付加することにより得られた値に基づいて、複数の画像を補正する。このように、画像処理装置１００ｂは、１つ画像では補正できない範囲で、補正を行うことができる。
実施の形態４．
　次に、実施の形態４を説明する。実施の形態４では、実施の形態１と相違する事項を主に説明する。そして、実施の形態４では、実施の形態１と共通する事項の説明を省略する。
　図１２は、実施の形態４の画像処理装置の機能を示すブロック図である。図２に示される構成と同じ図１２の構成は、図２に示される符号と同じ符号を付している。画像処理装置１００ｃは、取得部１２０ｃと解析作成部１３０ｃと検査部１４０ｃを有する。
　取得部１２０ｃは、センサ情報を取得する。例えば、取得部１２０ｃは、センサ情報をセンサから取得する。センサは、撮像装置又は撮像装置の外部に取り付けられる。例えば、センサは、撮影装置及び作業員の状態をセンシングする。センサ情報は、センサが検出することにより得られた情報である。言い換えれば、センサ情報は、センサが計測することにより得られた情報である。具体的には、センサ情報は、作業員及び撮像装置の動きを示す情報（例えば、ジャイロ情報とも言う）、作業員の視線方向を示す情報、撮像装置が撮像している領域の照度を示す情報、撮像装置から撮像装置が撮像している領域までの距離を示す情報などである。なお、センサが撮影装置の外部に取り付けられている場合、画像処理装置１００ｃは、センサと撮像装置の姿勢とを含む３次元の位置関係を検出できる。例えば、画像処理装置１００ｃは、撮像装置に取り付けられたセンサと、撮像装置の外部に取り付けられたセンサとが連携することにより得られたセンサ情報に基づいて、３次元の位置関係を検出できる。また、例えば、画像処理装置１００ｃは、撮像装置の外部に取り付けられたセンサから得られたセンサ情報に基づいて、撮像装置の位置を算出することにより、３次元の位置関係を検出できる。
　なお、取得部１２０ｃは、実施の形態１～３と同様に、画像及び検査用学習済モデルを取得する。
　解析作成部１３０ｃ（詳細には、探索部１３１）は、センサ情報と画像とに基づいて、対象物が画像に含まれているか否かを解析する。例えば、視線検出センサと撮影装置とが一体になっている場合、センサ情報には、作業員の視線情報が含まれる。解析作成部１３０ｃは、視線情報に基づいて、画像内で作業員が見ている領域を検出する。作業員が見ている領域は、対象物が存在する領域と言える。よって、解析作成部１３０ｃは、当該領域に対象物が存在すると解析する。これにより、解析作成部１３０ｃは、画像に対象物が含まれていると解析する。
　解析作成部１３０ｃは、画像に対象物が含まれている場合、センサ情報と画像とに基づいて、構図、輝度、及び鮮鋭度を解析する。解析作成部１３０ｃを詳細に説明する。
　図１３は、実施の形態４の解析作成部の機能を示すブロック図である。解析作成部１３０ｃには、画像とセンサ情報とが入力される。
　構図解析部１３２は、センサ情報が示す撮像装置の動きに基づいて、撮像装置と対象物との位置関係を、構図として解析する。詳細には、構図解析部１３２は、ある時点の撮像装置の位置情報を基準に、撮像装置が動く位置を時間的に加算することで、現在の撮像装置の位置を特定する。構図解析部１３２は、撮像装置の基準位置と、対象物の位置とに基づいて、撮像装置の現在位置と対象物の位置との位置関係を解析する。
　構図解析部１３２は、画像に基づく構図と、センサ情報に基づく構図とが異なる場合、センサ情報に基づく構図に重みを付加することにより得られた構図を、画像に基づく構図としてもよい。また、構図解析部１３２は、過去画像に対する探索結果に重みを付加して、現在画像内の対象物を探索してもよい。
　照明環境解析部１３３は、センサ情報に基づいて、対象物が存在する領域の輝度を解析する。なお、例えば、センサ情報は、撮像装置の露出である。また、例えば、センサが照度計である場合、センサ情報は、照度情報である。例えば、照明環境解析部１３３は、画像に基づく輝度と、センサ情報に基づく輝度とに重みを付加し、付加された値の平均を、判定部１３５に入力される輝度として、解析する。
　鮮鋭度解析部１３４は、センサ情報に基づいて、対象物が存在する領域の鮮鋭度を解析する。例えば、鮮鋭度解析部１３４は、センサ情報が示す撮像装置の動きに基づいて、ブレを示す量を解析する。鮮鋭度解析部１３４は、当該量に基づいて、鮮鋭度を解析する。また、例えば、センサ情報が、撮像装置から撮像装置が撮像している領域までの距離を示す情報である場合、鮮鋭度解析部１３４は、当該距離に基づいて、ピントのずれを解析する。鮮鋭度解析部１３４は、ピントのずれに基づいて、鮮鋭度を解析する。例えば、鮮鋭度解析部１３４は、画像に基づく鮮鋭度と、センサ情報に基づく鮮鋭度とに重みを付加し、付加された値の平均を、判定部１３５に入力される鮮鋭度として、解析する。
　ここで、探索部１３１は、次の処理を行ってもよい。
　図１４は、実施の形態４の探索部が実行する処理の例を示すフローチャートである。図１４の処理では、取得部１２０ｃによって、対象物を連続して撮像することにより得られた複数の画像が取得されている。
　（ステップＳ４１）探索処理部１３１ｃは、画像蓄積部１３１ａから過去画像である第１の画像を取得する。なお、第１の画像は、複数の画像のうちの１つの画像である。
　（ステップＳ４２）探索処理部１３１ｃは、探索結果蓄積部１３１ｂから第１の画像に対する探索結果を取得する。
　（ステップＳ４３）探索処理部１３１ｃは、第１の画像の次に作成された第２の画像内の対象物を探索する。
　（ステップＳ４４）探索処理部１３１ｃは、センサ情報が示す撮像装置の動きに基づいて、撮像装置の現在位置を特定する。
　（ステップＳ４５）探索処理部１３１ｃは、前回取得されたセンサ情報に基づいて特定された撮像装置の過去位置と、撮像装置の現在位置との差分を算出する。当該差分は、対象物の移動量と考えることができる。
　（ステップＳ４６）探索処理部１３１ｃは、第１の画像に対する探索結果と当該差分とに基づいて、現在の対象物の位置を特定する。すなわち、探索処理部１３１ｃは、第１の画像に含まれる対象物の位置に当該差分を加えることで、現在の対象物の位置を特定する。
　（ステップＳ４７）決定部１３１ｄは、ステップＳ４３で探索された第２の画像内の対象物の位置と、ステップＳ４６で特定された現在の対象物の位置とを比較して、誤差を算出する。
　（ステップＳ４８）決定部１３１ｄは、誤差が当該閾値よりも小さいか否かを判定する。誤差が当該閾値よりも小さい場合、処理は、ステップＳ４９に進む。誤差が当該閾値以上である場合、処理は、ステップＳ５０に進む。
　（ステップＳ４９）決定部１３１ｄは、第２の画像に対する探索結果を出力する。
　（ステップＳ５０）決定部１３１ｄは、第２の画像内の対象物の位置と、現在の対象物の位置との平均を、第２の画像に対する探索結果として決定する。このように、画像処理装置１００ｃは、第２の画像に対する探索結果が思わしくない場合、第２の画像に対する探索結果を調整する。これにより、画像処理装置１００ｄは、調整された探索結果が示す領域に対して、鮮鋭度などの解析を行う。よって、画像処理装置１００ｄは、適切な解析を行える。
　また、決定部１３１ｄは、誤差が当該閾値以上である場合、第２の画像が検査に用いられる画像として適当でないことを示す解析結果を作成してもよい。
　ここで、探索部１３１がテンプレートマッチングを用いて探索を行う場合、類似度に基づいて、マッチングするか否かが判定される。テンプレート画像が作成されたときの撮影環境と、取得された画像が作成されたときの撮影環境とが異なる場合、類似度に影響が表れる。そこで、探索部１３１は、センサ情報が示す露出情報を考慮して、類似度を算出する。これにより、探索精度が向上する。
　検査部１４０ｃは、画像が検査に用いられる画像として適当であることを解析結果が示している場合、センサ情報と画像と検査用学習済モデルとを用いて、画像に含まれる対象物を検査する。検査部１４０ｃは、センサ情報を用いることで、検査精度を向上させることができる。例えば、センサ情報が用いられずに、照度が低い画像に含まれている対象物を検査した場合、検査精度が低い可能性がある。そこで、検査部１４０ｃは、センサ情報が示す照度を用いて、照度が低い画像に含まれている対象物を検査した場合、センサ情報を考慮して対象物を検査する。これにより、検査部１４０ｃは、検査精度の高い検査結果を出力できる。
　また、提供部１６０は、撮像制御部１７０に置き換えてもよい。例えば、センサ情報が、撮像装置から撮像装置が撮像している領域までの距離を示す情報である場合、撮像制御部１７０は、センサ情報に基づいて、ピント調整を行ってもよい。また、例えば、撮像制御部１７０は、センサ情報が示す照度情報に基づいて、露出を調整してもよい。撮像制御部１７０は、センサ情報と解析結果とに基づいて、撮像装置を制御してもよい。
　実施の形態４によれば、画像処理装置１００ｃは、センサ情報を用いることで、精度の高い解析を行うことができる。
実施の形態５．
　次に、実施の形態５を説明する。実施の形態５では、実施の形態４と相違する事項を主に説明する。そして、実施の形態５では、実施の形態４と共通する事項の説明を省略する。
　図１５は、実施の形態５の画像処理装置の機能を示すブロック図である。図１２に示される構成と同じ図１５の構成は、図１２に示される符号と同じ符号を付している。
　画像処理装置１００ｃは、補正部１８０ｃをさらに有する。補正部１８０ｃは、センサ情報を用いて、取得部１２０ｃが取得した画像を補正する。例えば、補正部１８０ｃは、センサ情報が示す撮像装置の動きに基づいて、撮像装置の動きに起因するブレの方向及びブレの大きさを算出し、算出された結果に基づいて、画像を補正する。詳細には、補正部１８０ｃは、ブレの方向及びブレの大きさに基づいて、点広がり関数ｈを算出する。ここで、ブレが生じていない画像をｆとする。画像ｆに対するフーリエ変換をＦとする。点広がり関数ｈに対するフーリエ変換をＨとする。ブレが生じている画像ｇに対するフーリエ変換Ｇの関係は、畳み込み演算を用いて、“Ｇ＝ＨＦ”のように表される。フーリエ変換Ｈの逆フィルタがＨｉｎｖである場合、“Ｆ＝ＨｉｎｖＧ”が表される。“Ｆ＝ＨｉｎｖＧ”に基づいて、逆フーリエ変換が行われた場合、画像ｇから画像ｆが推定させる。
　また、センサ情報が、撮像装置が撮像している領域の照度を示す情報である場合、補正部１８０ｃは、センサ情報を用いて、画像の鮮鋭度を補正してもよい。また、補正部１８０ｃは、センサ情報が示す照度に基づいて、画像の輝度を補正してもよい。
　補正部１８０ｃは、解析作成部１３０ｃが作成した解析結果と、センサ情報とに基づいて、画像を補正してもよい。
　実施の形態５によれば、画像処理装置１００ｃは、センサ情報を用いて画像を補正することで、画像が検査に用いられる画像として適当であると判定される確率を上げることができる。
実施の形態６．
　次に、実施の形態６を説明する。実施の形態６では、実施の形態１と相違する事項を主に説明する。そして、実施の形態６では、実施の形態１と共通する事項の説明を省略する。
　図１６は、実施の形態６の画像処理装置の機能を示すブロック図である。図２に示される構成と同じ図１６の構成は、図２に示される符号と同じ符号を付している。画像処理装置１００ｄは、取得部１２０ｄと解析作成部１３０ｄと出力制御部１５０ｄとを有する。
　取得部１２０ｄは、センサ情報を取得する。また、取得部１２０ｄは、図面情報を取得する。例えば、取得部１２０ｄは、図面情報をサーバから取得する。例えば、図面情報は、３Ｄ－ＣＡＤなどである。図面情報は、１以上の対象物を含む。例えば、図面情報は、対象物であるネジの締結部と締結対象の物体とにおける、種々の寸法、公差など設計に関する情報であって、製品の全体又は一部を示す。
　なお、取得部１２０ｄは、実施の形態１のように、画像及び検査用学習済モデルを取得する。
　次に、解析作成部１３０ｄを詳細に説明する。
　図１７は、実施の形態６の解析作成部の機能を示すブロック図である。解析作成部１３０ｄには、画像とセンサ情報と図面情報とが入力される。
　解析作成部１３０ｄは、座標処理部１３６を有する。座標処理部１３６は、画像とセンサ情報と図面情報とを用いて、図面情報の座標系と画像の座標系とを合わせる。以下、合わせられた座標系は、世界座標系と呼ぶ。世界座標系の原点には、予め決められた位置が設定される。世界座標系の原点には、図面情報が示す対象物の特徴点が設定されてもよい。座標処理部１３６は、世界座標系における特徴点の座標を算出する。すなわち、座標処理部１３６は、原点と特徴点との距離に基づいて、特徴点の座標を算出する。また、座標処理部１３６は、センサ情報に基づいて、世界座標系における画像の各画素の座標を算出する。例えば、センサがジャイロセンサである場合、座標処理部１３６は、センサ情報が示す撮像装置の姿勢に基づいて、世界座標系における各画素の座標を算出する。
　探索部１３１の探索処理部１３１ｃは、図面情報に含まれる対象物の座標に基づいて、画像に含まれる対象物を探索する。このように、同じ座標系に合わせたため、探索処理部１３１ｃは、図面情報に基づいて、画像に含まれる対象物を探索できる。
　また、図面情報に対象物（例えば、ネジ）の位置情報が含まれている場合、探索処理部１３１ｃは、当該位置情報を世界座標系に変換し、変換された位置情報に基づいて、画像に含まれる対象物（例えば、ネジ）を探索してもよい。
　探索処理部１３１ｃは、画像に基づいて、画像に含まれる対象物を探索する。
　探索処理部１３１ｃは、図面情報に基づいて探索された対象物の位置と、画像に基づいて探索された対象物の位置とを比較して、誤差を算出する。決定部１３１ｄは、誤差が閾値よりも小さい場合、画像に基づく探索結果を出力する。決定部１３１ｄは、誤差が閾値以上である場合、図面情報に基づいて探索された対象物の位置と、画像に基づいて探索された対象物の位置との平均を、画像に対する探索結果として決定してもよい。このように、画像処理装置１００ｄは、画像に対する探索結果が思わしくない場合、画像に対する探索結果を調整する。これにより、画像処理装置１００ｄは、調整された探索結果が示す領域に対して、鮮鋭度などの解析を行う。よって、画像処理装置１００ｄは、適切な解析を行える。
　探索部１３１は、探索結果と座標情報とを紐付けて出力する。
　判定部１３５は、画像が検査に用いられる画像として適当であると判定した場合、判定部１３５は、解析結果と画像と座標情報とを紐付けて出力する。
　次に、出力制御部１５０ｄを詳細に説明する。
　図１８は、実施の形態６の出力制御部の機能を示すブロック図である。出力制御部１５０ｄは、視野特定部１５１、結果蓄積部１５２、決定部１５３、及び出力部１５４を有する。
　視野特定部１５１は、センサ情報が示す視線情報に基づいて、作業員の視野及び視野領域を特定する。
　結果蓄積部１５２は、検査結果を蓄積する。予め設定された数を超えた場合、検査結果が古い順に削除される。
　決定部１５３は、検査結果を作業員に提供するか否かを決定してもよい。検査結果を作業員に提供する場合、決定部１５３は、提供タイミングを決定する。例えば、決定部１５３は、視野特定部１５１が特定した情報に基づいて、作業員が作業を行っているか否かを検出し、検出結果に基づいて、提供タイミングを決定する。
　決定部１５３は、今回の検査結果と過去の検査結果とが異なる場合、今回の検査結果を出力することを決定する。すなわち、検査結果が変化する場合、決定部１５３は、検査結果を出力するように制御する。これにより、頻繁に表示内容が切り替わることで、作業員が表示内容を認識できないという事態が、防止される。
　決定部１５３は、今回の検査結果と過去の検査結果とを同時に出力することを決定してもよい。例えば、過去の検査対象物がネジＡであり、今回の検査対象物がネジＢである場合、決定部１５３は、ネジＡの検査結果とネジＢの検査結果とを同時に出力することを決定する。
　決定部１５３は、解析結果をどこに出力するかを決定する。例えば、決定部１５３は、作業員が視認するディスプレイに出力することを決定する。また、決定部１５３は、解析結果をディスプレイの端に一覧形式で表示することを決定してもよい。出力対象がシースルー形式のヘッドマウント型のＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）デバイスである場合、決定部１５３は、座標情報に基づいて対象物を特定し、重畳表示方式で、対象物に解析結果を重畳することを決定してもよい。
　出力部１５４は、決定部１５３の決定内容に基づいて、解析結果を出力する。また、出力部１５４は、図面情報に含まれる、全ての検査対象物を検査したか否かを示す情報を出力してもよい。また、出力部１５４は、図面情報が示す対象物の情報、対象物の３Ｄモデルを出力してもよい。
　また、実施の形態１～６では、構図、輝度、及び鮮鋭度が解析される場合を説明した。構図、輝度、及び鮮鋭度のうちの少なくとも１つが解析されてもよい。なお、構図、輝度、及び鮮鋭度のうちの少なくとも１つは、解析対象とも言う。
　実施の形態１の変形例では、解析用学習済モデルが用いられる場合を説明した。実施の形態２～６では、解析用学習済モデルが用いられてもよい。解析用学習済モデルが用いられる場合、解析用学習済モデルは、実施の形態２～６の解析作成部と同じ機能を有する。
　以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
　１００，１００ａ，１００ｂ，１００ｃ，１００ｄ　画像処理装置、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１１０　記憶部、　１２０，１２０ｃ，１２０ｄ　取得部、　１３０，１３０ｃ，１３０ｄ　解析作成部、　１３１　探索部、　１３１ａ　画像蓄積部、　１３１ｂ　探索結果蓄積部、　１３１ｃ　探索処理部、　１３１ｄ　決定部、　１３２　構図解析部、　１３３　照明環境解析部、　１３４　鮮鋭度解析部、　１３５，１３５ａ　判定部、　１３５ｂ　結果蓄積部、　１３５ｃ　決定部、　１３６　座標処理部、　１４０，１４０ｃ　検査部、　１５０，１５０ｄ　出力制御部、　１５１　視野特定部、　１５２　結果蓄積部、　１５３　決定部、　１５４　出力部、　１６０　提供部、　１７０　撮像制御部、　１７１　露出調整部、　１７２　ピント調整部、　１７３　構図制御部、　１８０，１８０ｃ　補正部、　２００　撮像装置。

Claims (17)

  1. 　画像と、検査の対象物を検査するための検査用学習済モデルとを取得する取得部と、
    　前記画像を用いて、前記対象物が前記画像に含まれているか否かを解析し、前記画像に前記対象物が含まれている場合、前記画像が検査に用いられる画像として適当であることを示す解析結果を作成する解析作成部と、
    　前記画像が検査に用いられる画像として適当であることを前記解析結果が示している場合、前記画像と前記検査用学習済モデルとを用いて、前記画像に含まれている前記対象物を検査する検査部と、
    　を有する画像処理装置。
  2. 　前記解析作成部は、前記画像に前記対象物が含まれている場合、前記画像内の前記対象物の領域に基づいて、前記対象物に関する構図、前記領域の輝度、及び前記領域の鮮鋭度のうちの少なくとも１つである解析対象を解析し、前記解析対象の解析結果に基づいて、前記画像が検査に用いられる画像として適当である場合、前記画像が検査に用いられる画像として適当であることを示す前記解析結果を作成する、
    　請求項１に記載の画像処理装置。
  3. 　提供部をさらに有し、
    　前記解析結果は、前記解析対象に対する解析の結果を含み、
    　前記提供部は、前記解析結果に基づいて、適当な画像が作成されるための情報を提供する、
    　請求項２に記載の画像処理装置。
  4. 　前記解析結果に基づいて、撮像装置が適当な画像を作成されるために、前記撮像装置を制御する撮像制御部をさらに有する、
    　請求項１又は２に記載の画像処理装置。
  5. 　前記取得部は、センサが検出することにより得られた情報であるセンサ情報を取得し、
    　前記解析作成部は、前記センサ情報と前記画像とに基づいて、前記対象物が前記画像に含まれているか否かを解析する、
    　請求項１に記載の画像処理装置。
  6. 　前記解析作成部は、前記画像に前記対象物が含まれている場合、前記センサ情報と前記画像内の前記対象物の領域とに基づいて、前記対象物に関する構図、前記領域の輝度、及び前記領域の鮮鋭度のうちの少なくとも１つである解析対象を解析する、
    　請求項５に記載の画像処理装置。
  7. 　前記センサ情報を用いて、前記画像を補正する補正部をさらに有する、
    　請求項５又は６に記載の画像処理装置。
  8. 　前記取得部は、
    　センサが検出することにより得られた情報であるセンサ情報と前記対象物を含む図面情報とを取得し、
    　前記解析作成部は、
    　前記画像と前記センサ情報と前記図面情報とを用いて、前記図面情報の座標系と前記画像の座標系とを合わせる座標処理部と、
    　前記図面情報に含まれる前記対象物の座標に基づいて前記画像に含まれる前記対象物を探索し、前記画像に基づいて前記画像に含まれる前記対象物を探索する探索処理部と、
    　前記図面情報に基づいて探索された前記対象物の位置と、前記画像に基づいて探索された前記対象物の位置との誤差が予め設定された閾値以上である場合、前記図面情報に基づいて探索された前記対象物の位置と、前記画像に基づいて探索された前記対象物の位置との平均を、前記画像に対する探索結果として決定する決定部と、
    　を有する、
    　請求項１又は２に記載の画像処理装置。
  9. 　前記取得部は、
    　前記対象物を連続して撮像することにより得られた複数の画像を取得し、
    　前記解析作成部は、
    　前記複数の画像のうち、前記対象物の探索が行われた画像である過去画像を蓄積する画像蓄積部と、
    　前記過去画像に対する探索結果を蓄積する探索結果蓄積部と、
    　前記複数の画像のうち、探索が行われていない画像である現在画像内の前記対象物を探索する探索処理部と、
    　前記過去画像と、前記過去画像に対する探索結果と、前記現在画像に対する探索結果とに基づいて、前記現在画像内の前記対象物の位置と、前記過去画像内の前記対象物の位置との誤差が予め設定された閾値以上である場合、前記現在画像内の前記対象物の位置と、前記過去画像内の前記対象物の位置との平均を、前記現在画像に対する探索結果として決定する決定部と、
    　を有する、
    　請求項１に記載の画像処理装置。
  10. 　前記解析作成部は、前記現在画像内の前記対象物の領域に基づいて、前記対象物に関する構図、前記領域の輝度、及び前記領域の鮮鋭度のうちの少なくとも１つである解析対象を解析し、
    　前記解析作成部は、
    　前記解析対象に基づいて、前記現在画像が検査に用いられる画像として適当であるか否かを判定する判定部と、
    　前記過去画像が検査に用いられる画像として適当であるか否かを示す過去判定結果を蓄積する結果蓄積部と、
    　前記過去判定結果と、前記現在画像が検査に用いられる画像として適当であるか否かを示す現在判定結果とが一致しない場合、前記過去判定結果と前記現在判定結果とに基づいて、多数決を行い、多数決に基づく判定結果を、前記現在判定結果として決定する決定部と、
    　を有する、
    　請求項９に記載の画像処理装置。
  11. 　異なる露出、異なるピント、及び異なる構図で撮像装置が複数の画像を作成するように、前記撮像装置を制御する撮像制御部をさらに有し、
    　前記取得部は、前記複数の画像を取得し、
    　前記解析作成部は、前記複数の画像のそれぞれに対して、検査に用いられる画像として適当な画像であるか否かを解析する、
    　請求項１又は２に記載の画像処理装置。
  12. 　補正部をさらに有し、
    　前記取得部は、前記対象物を連続して撮像することにより得られた複数の画像を取得し、
    　前記解析作成部は、前記複数の画像のうちの第１の画像に対する解析結果を作成し、
    　前記補正部は、前記第１の画像に対する前記解析結果に基づいて、前記複数の画像のうちの１つの画像であり、かつ前記第１の画像の次に作成された画像である第２の画像を補正する、
    　請求項１又は２に記載の画像処理装置。
  13. 　前記取得部は、
    　前記対象物を連続して撮像することにより得られた複数の画像と、センサによって検出された、前記複数の画像を作成した撮像装置の動きを示すセンサ情報とを取得し、
    　前記解析作成部は、
    　前記複数の画像のうちの第１の画像に対する探索結果を蓄積する探索結果蓄積部と、
    　前記複数の画像のうちの１つの画像であり、かつ前記第１の画像の次に作成された画像である第２の画像内の前記対象物を探索し、前記センサ情報が示す前記撮像装置の動きに基づいて、前記撮像装置の現在位置を特定し、前回取得されたセンサ情報に基づいて特定された前記撮像装置の過去位置と、前記撮像装置の現在位置との差分を算出し、前記第１の画像に対する探索結果と前記差分とに基づいて、現在の前記対象物の位置を特定する探索処理部と、
    　探索された前記第２の画像内の前記対象物の位置と、前記現在の前記対象物の位置との誤差が予め設定された閾値以上である場合、前記第２の画像内の前記対象物の位置と、前記現在の前記対象物の位置との平均を、前記第２の画像に対する探索結果として決定する決定部と、
    　を有する、
    　請求項１又は２に記載の画像処理装置。
  14. 　前記取得部は、前記画像が検査に用いられる画像として適切であるか否かを推論するための解析用学習済モデルを取得し、
    　前記解析作成部は、前記画像と前記解析用学習済モデルとを用いて、前記画像が検査に用いられる画像として適当であるか否かを解析する、
    　請求項１又は２に記載の画像処理装置。
  15. 　検査結果を出力する出力制御部をさらに有する、
    　請求項１から１４のいずれか１項に記載の画像処理装置。
  16. 　画像処理装置が、
    　画像と、検査の対象物を検査するための検査用学習済モデルとを取得し、
    　前記画像を用いて、前記対象物が前記画像に含まれているか否かを解析し、
    　前記画像に前記対象物が含まれている場合、前記画像が検査に用いられる画像として適当であることを示す解析結果を作成し、
    　前記画像が検査に用いられる画像として適当であることを前記解析結果が示している場合、前記画像と前記検査用学習済モデルとを用いて、前記画像に含まれている前記対象物を検査する、
    　画像処理方法。
  17. 　画像処理装置に、
    　画像と、検査の対象物を検査するための検査用学習済モデルとを取得し、
    　前記画像を用いて、前記対象物が前記画像に含まれているか否かを解析し、
    　前記画像に前記対象物が含まれている場合、前記画像が検査に用いられる画像として適当であることを示す解析結果を作成し、
    　前記画像が検査に用いられる画像として適当であることを前記解析結果が示している場合、前記画像と前記検査用学習済モデルとを用いて、前記画像に含まれている前記対象物を検査する、
    　処理を実行させる画像処理プログラム。
PCT/JP2021/023162 2021-06-18 2021-06-18 画像処理装置、画像処理方法、及び画像処理プログラム Ceased WO2022264396A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021568828A JP7026871B1 (ja) 2021-06-18 2021-06-18 画像処理装置、画像処理方法、及び画像処理プログラム
US18/567,032 US20240281948A1 (en) 2021-06-18 2021-06-18 Image processing device, and image processing method
PCT/JP2021/023162 WO2022264396A1 (ja) 2021-06-18 2021-06-18 画像処理装置、画像処理方法、及び画像処理プログラム
CN202180099285.7A CN117480381A (zh) 2021-06-18 2021-06-18 图像处理装置、图像处理方法以及图像处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/023162 WO2022264396A1 (ja) 2021-06-18 2021-06-18 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2022264396A1 true WO2022264396A1 (ja) 2022-12-22

Family

ID=81175169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023162 Ceased WO2022264396A1 (ja) 2021-06-18 2021-06-18 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20240281948A1 (ja)
JP (1) JP7026871B1 (ja)
CN (1) CN117480381A (ja)
WO (1) WO2022264396A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248241A (ja) * 2006-03-15 2007-09-27 Omron Corp 表面状態の検査方法および表面状態検査装置
JP2009236760A (ja) * 2008-03-27 2009-10-15 Daishinku Corp 画像検出装置および検査装置
JP2018195267A (ja) * 2017-05-22 2018-12-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020030145A (ja) * 2018-08-23 2020-02-27 東京エレクトロンデバイス株式会社 検査装置及び検査システム
WO2020174916A1 (ja) * 2019-02-26 2020-09-03 株式会社日立国際電気 撮影システム
US20200412932A1 (en) * 2018-03-05 2020-12-31 Omron Corporation Method, device, system and computer-program product for setting lighting condition and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248241A (ja) * 2006-03-15 2007-09-27 Omron Corp 表面状態の検査方法および表面状態検査装置
JP2009236760A (ja) * 2008-03-27 2009-10-15 Daishinku Corp 画像検出装置および検査装置
JP2018195267A (ja) * 2017-05-22 2018-12-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US20200412932A1 (en) * 2018-03-05 2020-12-31 Omron Corporation Method, device, system and computer-program product for setting lighting condition and storage medium
JP2020030145A (ja) * 2018-08-23 2020-02-27 東京エレクトロンデバイス株式会社 検査装置及び検査システム
WO2020174916A1 (ja) * 2019-02-26 2020-09-03 株式会社日立国際電気 撮影システム

Also Published As

Publication number Publication date
US20240281948A1 (en) 2024-08-22
JP7026871B1 (ja) 2022-02-28
CN117480381A (zh) 2024-01-30
JPWO2022264396A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
US11521312B2 (en) Image processing apparatus, image processing method, and storage medium
US12340505B2 (en) Microscopy system and method for checking input data
US9396531B2 (en) Systems and methods for image and video signal measurement
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
KR20130085316A (ko) 원거리 사람 식별을 위한 다중 카메라 기반의 얼굴영상 획득 장치
US20160205291A1 (en) System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템
CN118397047B (zh) 一种基于循环神经网络的目标跟踪方法、系统及电子设备
RU2651147C1 (ru) Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
JP2022142588A (ja) 異常検出装置、異常検出方法、および異常検出プログラム
CN119399199A (zh) 基于YOLOv8的烟叶散把程度的检测方法及系统
KR100217485B1 (ko) 동영상 부호기 또는 복호기에서 이동보상방법
Wischow et al. Monitoring and adapting the physical state of a camera for autonomous vehicles
CN113888628A (zh) 一种目标跟踪丢失后的精确定位方法及精确定位系统
US12159449B2 (en) Image recognition device, image recognition system, image recognition method, and non-transitry computer-readable recording medium
JP7026871B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN118396959B (zh) 基于事件相机检测缺陷的方法、装置、存储介质、电子设备和程序产品
JP2024528958A (ja) 画像捕捉のための露出制御
WO2018037891A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体
US11631183B2 (en) Method and system for motion segmentation
JP2011215695A (ja) 移動物体検出装置及び方法、並びにプログラム
KR101772928B1 (ko) 휘도 평활화와 광흐름 분석을 이용한 이동탐지 시스템 및 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021568828

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21946071

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18567032

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180099285.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21946071

Country of ref document: EP

Kind code of ref document: A1