WO2023095733A1 - 画像形成システム、画像形成方法、及びプログラム - Google Patents

画像形成システム、画像形成方法、及びプログラム Download PDF

Info

Publication number
WO2023095733A1
WO2023095733A1 PCT/JP2022/042887 JP2022042887W WO2023095733A1 WO 2023095733 A1 WO2023095733 A1 WO 2023095733A1 JP 2022042887 W JP2022042887 W JP 2022042887W WO 2023095733 A1 WO2023095733 A1 WO 2023095733A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination
light
illumination pattern
unit
Prior art date
Application number
PCT/JP2022/042887
Other languages
English (en)
French (fr)
Inventor
祥一 田尾
誉之 岡野
真一郎 斉藤
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2023095733A1 publication Critical patent/WO2023095733A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to an image forming system, an image forming method, and a program.
  • Patent Document 2 also introduces a visual inspection method in which halation is removed.
  • the object in order to remove halation due to lighting, the object is not directly illuminated with a plurality of lights, but a semi-cylindrical diffusion plate is used between the object and the lights to diffuse secondarily.
  • An inspection method has been proposed in which a dome light source of a shape is created, and the object is observed with one camera by the reflected light of illumination from this dome light source.
  • Patent Document 1 when performing halation removal and flaw enhancement through image processing based on multiple images taken under multiple lighting conditions, there are usually multiple lightings and the camera is fixed. is used. This is because when generating a single image from multiple images, it is necessary to grasp the positional relationship between each camera and the object to be measured and perform appropriate image processing if the viewpoints differ. This is due to the difficulty of image generation (image synthesis). As a result, there are drawbacks such as an increase in photographing time in proportion to the number of lighting conditions, the size of the object being restricted by the size of the lighting equipment, and the need to provide a mechanism to move the object.
  • Patent Document 2 when the object becomes large, a large diffusion plate of the diffusion dome must be prepared accordingly. Because of the provision of the , the entire device and the lighting section must be large-scaled.
  • an object of the present invention is to realize visual inspection of an object with a low cost, simple configuration, and simple image processing.
  • the image forming system of the present invention includes: an illumination projection unit that irradiates an object to be measured with light of a two-dimensional illumination pattern; a plurality of detection units installed at different locations for detecting the light intensity of the light reflected from the measurement object by the light of the illumination pattern; an illumination control unit that sequentially switches the illumination pattern from among the plurality of illumination patterns and irradiates light from the illumination projection unit; a first image generation unit that generates a two-dimensionally reconstructed first image for each of the detection units from the illumination pattern and the light intensity of the reflected light corresponding to the illumination pattern; a second image generation unit that generates a new second image based on the plurality of first images generated for each of the detection units; Prepare.
  • the image forming method of the present invention is irradiating an object to be measured with light by sequentially switching the illumination pattern from among a plurality of two-dimensional illumination patterns; detecting the light intensity of the light reflected from the measurement object by the light of the illumination pattern at different locations; generating a plurality of first images two-dimensionally reconstructed for each of the different locations where the light intensity is detected from the illumination pattern and the light intensity of the reflected light corresponding to the illumination pattern; The light intensity of each identical pixel in the plurality of first images is processed to generate a new second image.
  • the program of the present invention is an illumination projection unit that irradiates a measurement object with light of a two-dimensional illumination pattern; and a plurality of detection units that are installed at different locations and detect the light intensity of light reflected from the measurement object by the light of the illumination pattern.
  • a computer of an imaging system comprising: an illumination control unit that sequentially switches the illumination pattern from among the plurality of illumination patterns and irradiates light from the illumination projection unit; a first image generation unit that generates a first image that is two-dimensionally reconstructed for each of the detection units from the illumination pattern and the light intensity of the reflected light corresponding to the illumination pattern; a second image generation unit that generates a new second image based on the plurality of first images generated for each of the detection units; function as
  • FIG. 1 is a schematic diagram showing a schematic configuration of an image forming system
  • FIG. 2 is a block diagram showing the functional configuration of the image forming system
  • FIG. It is an example of the illumination pattern to the object by an illumination projection part. It is an example of the arrangement of an illumination projection unit and a plurality of detection units. It is an example of the arrangement of an illumination projection unit and a plurality of detection units.
  • 4 is a flowchart of image forming processing; 6 is a flowchart of halation removal processing; 10 is a flowchart of flaw-enhanced image generation processing; 4 is a flowchart of scattering anisotropic image generation processing; It is an example of the arrangement of an illumination projection unit and a plurality of detection units in scattering anisotropic image generation processing. Viewpoint position and light intensity in scattering anisotropic image generation processing.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an image forming system 100 of this embodiment. Then, the image forming system 100 is mainly used to output information about the appearance of the object, which is a non-luminous object.
  • FIG. 1 is an example of observing a measuring object H having a glossy surface such as a metal electric saw blade.
  • FIG. 2 is a block diagram showing the functional configuration of the image forming system 100 of this embodiment.
  • the electric saw blade which is the object H to be measured, is arranged on the pedestal portion 18 .
  • the image forming system 100 includes a control section 11, an illumination projection section 12, a detection section 13, a storage section 14, a display section 15, an operation section 16, a communication section 17, and the like.
  • the illumination projection unit 12 changes the two-dimensional illumination pattern P every specific time, and projects the light of the corresponding illumination pattern onto the measurement object H.
  • the detector 13 detects reflected light from the object H to be measured, and sends a time-varying received light signal S to the controller 11 .
  • the control unit 11 uses SPI (Single-Pixel Imaging) technology to perform two-dimensional imaging.
  • a reconstructed image (first image) reconstructed in dimensions is generated. Since a reconstructed image is generated based on the illumination pattern P and the received light signal S, one reconstructed image is generated for one detector 13 .
  • the control unit 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
  • the control unit 11 is connected to each unit (the illumination projection unit 12, the detection unit 13, the storage unit 14, the display unit 15, the operation unit 16, and the communication unit 17) of the image forming system 100, and controls the operation of each unit.
  • the control unit 11 cooperates with the programs stored in the storage unit 14 to execute various processes including image forming processing, which will be described later.
  • the control unit 11 controls the illumination pattern P of the illumination projection unit 12 as an illumination control unit.
  • control unit 11 acquires the light intensity (light reception signal S) corresponding to the illumination pattern P from the plurality of detection units 13, and from the illumination pattern P and the light intensity (light reception signal S), two It functions as a first image generator that generates a dimensionally reconstructed first image.
  • the control unit 11 also functions as a second image generation unit that generates a new second image based on the plurality of first images generated by each detection unit 13 .
  • the control unit 11 generates a plurality of illumination patterns P and stores them in the storage unit 14 . For example, if the total number of images required for reconstruction cannot be stored in the storage unit 14, only the number of images that can be stored out of the total number of images is generated.
  • the illumination pattern P may be generated according to the pixel resolution of the reconstructed image. Also, the illumination pattern P may be generated according to the spatial resolution of the reconstructed image. Also, the illumination pattern P may be generated according to the size of the imaging range. It may also be generated from an illumination pattern P with a low spatial frequency. That is, when 4000 illumination patterns P are required, 100 illumination patterns P are generated from the low frequency side, 100 illumination patterns P are generated from the next low frequency side at the next timing, and finally the high frequency side is generated. An illumination pattern P is generated. It may also be generated from an illumination pattern P with a high spatial frequency.
  • a roughly reconstructed image of the measurement object H can be obtained more quickly if the illumination projection unit 12 irradiates from the illumination pattern P with a low spatial frequency.
  • an illumination pattern with brightness corresponding to the surface state of the measurement object H may be generated.
  • the surface of the measurement object H is specularly reflected.
  • a slightly darker illumination pattern P such as 0 for black and 15 for white, is used.
  • the illumination pattern P is set to be brighter.
  • the illumination projection unit 12 is, for example, a projection projector using a DMD (Digital Mirror Device). Note that the illumination projection unit 12 may be various projectors, and is not limited to a projection projector using a DMD.
  • the illumination projection unit 12 is controlled by the control unit 11, for example, changes the two-dimensional illumination pattern P shown in FIG. Note that the illumination pattern P is created by the control unit 11 . Moreover, the illumination pattern P may be stored in the storage unit 14 in advance.
  • the resolution of the two-dimensional illumination pattern P projected by the illumination projection unit 12 affects the resolution of the reconstructed image, and the number of projected two-dimensional illumination patterns P also affects the resolution of the reconstructed image. do.
  • the DMD has a frame rate of 60 Hz or 120 Hz
  • the two-dimensional illumination pattern P per unit time can be increased by the following method. Due to its principled features, the DMD is capable of projecting the bits of an image in sequence. In general, one pixel of an image consists of 8 bits each of RGB, totaling 24 bits. However, an image in which one pixel is expressed by one bit cannot express gradation, and only a so-called black-and-white image can be projected. For example, by using an image expressed as a so-called black-and-white image, such as Hadamard illumination, as an illumination pattern, it is possible to project an image 24 times the frame rate in a unit time.
  • a so-called black-and-white image such as Hadamard illumination
  • the detection unit 13 measures the time variation of the light intensity (light receiving signal S) of the reflected light from the measuring object H with respect to the light of each illumination pattern P that varies for each specific time.
  • the detection unit 13 includes, for example, a two-dimensional sensor such as a CCD (Charge-Coupled Device), a one-dimensional sensor such as a line CCD, an array of photodiodes (photodetectors), a single photodiode (photodetector), and the like. Available.
  • a two-dimensional sensor such as a CCD (Charge-Coupled Device)
  • a one-dimensional sensor such as a line CCD
  • an array of photodiodes photodetectors
  • a single photodiode photodetector
  • the detection units 13 are arranged on a circumference (on a three-dimensional spherical surface) surrounding the object H. It should be noted that the detectors 13 may be arranged in a straight line as in the form example shown in FIG. Moreover, FIGS. 4 and 5 are simply illustrated on the drawings, and analysis processing can be sufficiently performed even when the seven detection units 13 are arranged in a dispersed manner when viewed from above.
  • the storage unit 14 is composed of a non-volatile semiconductor memory, a hard disk, or the like, and stores a program executed by the control unit 11, data necessary for executing the program, an illumination pattern, a light reception signal S of the detection unit 13, and various generated images. , the shooting history, etc. are stored.
  • the display unit 15 displays the operation screen, the operation status of the image forming system 100, etc. on the display according to the display control of the control unit 11.
  • FIG. 15 displays the operation screen, the operation status of the image forming system 100, etc. on the display according to the display control of the control unit 11.
  • the operation unit 16 includes a group of keys used for input operations such as processing start and a touch panel integrated with the display of the display unit 15 , and generates operation signals according to these operations and outputs them to the control unit 11 . do.
  • the communication unit 17 has a communication interface and communicates with external devices on the network.
  • step S11 A flow of image forming processing will be described with reference to FIG. It is assumed that seven detection units 13 are arranged.
  • the control unit 11 generates a predetermined number of illumination patterns P and stores them in the storage unit 14 (step S11). Note that the user selects a predetermined number of illumination patterns P to be irradiated according to the measurement object H from the illumination patterns P stored in the storage unit 14 in advance, and the control unit 11 acquires the illumination patterns P from the storage unit 14. You may
  • control unit 11 causes the illumination projection unit 12 to irradiate the measurement object H with one illumination pattern P among the illumination patterns P stored in the storage unit 14 in step S11 (step S12).
  • control unit 11 acquires the received light signal S of the light from the measurement object H from each of the plurality of detection units 13 (step S13).
  • control unit 11 determines whether all the predetermined number of illumination patterns P stored in the storage unit 14 in step S11 have been emitted by the illumination projection unit 12 (step S14). If all the illumination patterns P have been emitted by the illumination projection unit 12 (step S14; YES), the process proceeds to step S15. , the control unit 11 proceeds to step S12, and causes the illumination projection unit 12 to irradiate the next illumination pattern P. As shown in FIG.
  • the control unit 11 calculates A two-dimensional image is reconstructed to generate a plurality of reconstructed images (first images) (step S15).
  • the first image is generated at an angle when the measurement object H is viewed from each detection unit 13 .
  • seven reconstructed images are generated.
  • control unit 11 determines whether or not the illumination projection unit 12 is caused to irradiate a sufficient number of illumination patterns P to generate the first image (step S16). If the irradiation is performed (step S16; YES), seven first images are completed in step S15, and the process proceeds to step S17. If the irradiation has not been completed (step S16; NO), the process proceeds to step S11, a predetermined number of different illumination patterns P are newly created, and the process is continued.
  • step S16 is not made based on the number of illuminated illumination patterns P, but the quality (for example, SN ratio) of the reconstructed image (first image) generated in step S15 is calculated, and the It may also be based on whether the quality meets predetermined criteria.
  • the quality for example, SN ratio
  • all the illumination patterns P generated in step S11 immediately before the generation of the first image are used to generate the reconstructed image, and the processing is started. to the generation of the first image are added to generate the first image. That is, the first image (reconstructed image) is generated using all of the illumination pattern P generated in step S11 from the start of processing to the generation of the first image.
  • the number of illumination patterns P required for reconstruction is 1000
  • a predetermined number of 100 (1 to 100) illumination patterns are irradiated, and the reconstructed image 1 is obtained using 1 to 100 patterns.
  • a predetermined number of 100 (101 to 200) illumination patterns are irradiated, and a reconstructed image 2 is generated using the 101 to 200 patterns.
  • a predetermined number of 100 (201 to 300) illumination patterns are irradiated, and the reconstructed image 3 is generated using the 201 to 300 patterns, which is repeated.
  • a first image (reconstructed image) is generated by adding reconstructed image 1, reconstructed image 2, reconstructed image 3, and so on.
  • the signal intensity of the first image may be normalized for each of the plurality of detection units 13 .
  • the background intensity is removed so that the signal intensity of pixels known to be the background of the measurement object H becomes zero.
  • the minimum intensity of the image may be regarded as the background intensity, and the background intensity may be removed so that the minimum intensity becomes zero.
  • the signal intensity of each first image may be multiplied by a constant such that the average intensity of the image is the same for each first image.
  • the control unit 11 performs a second image generation process of generating a new second image using the first images generated by the number of the plurality of detection units 13 (step S17).
  • the second image generation processing is halation removal processing, flaw-enhanced image generation processing, and scattering anisotropic image generation processing, which will be described later. A specific flow of each process will be described later. Note that alignment of the plurality of first images is unnecessary in the second image generation process. This is because the reconstructed image is generated by calculation based on the illumination pattern P of known two-dimensional coordinates and the received light signal S of one-dimensional information.
  • control unit 11 displays the second image on the display unit 15 (step S18).
  • Halation removal processing is to create an output image (second image) from which halation has been removed by performing predetermined processing on the signal values of the same pixels of seven reconstructed images (first image). be. Note that step S17 in FIG. 6 corresponds to steps S21 to S25 in FIG.
  • control unit 11 acquires signal values of the same pixels of the first image for each of the plurality of detection units 13 (step S21). Note that a specific virtual pixel may be applied to the first image by user designation or the like. In that case, the control unit 11 acquires a signal value for each virtual pixel.
  • the control unit 11 excludes abnormal values from the signal values of the same pixels (step S22). For example, exclude the N maximum values and the N minimum values. In other words, halation of a film is often caused by specular reflection of light on the surface, and the reflectance at that location is an abnormal value that is extremely higher than that at the surrounding locations, so it is excluded. We also exclude low outliers. As another example, the median value may be used and non-median values may be excluded. Also, an abnormal value may be determined by a threshold value. Abnormal values may be excluded by using various statistical processing methods.
  • control unit 11 calculates the average of the remaining signal values (step S23).
  • step S24 determines whether the calculation has been completed for all pixels. If the calculation has been completed (step S24; YES), the process proceeds to step S25, and if the calculation has not been completed (step S24; NO), the process proceeds to step S21, and the control unit 11 acquires the signal value of the pixel for which the calculation has not been completed. do.
  • control unit 11 generates an image (second image) from the average value calculated for each pixel (step S25).
  • step S17 in FIG. 6 corresponds to steps S31 to S38 in FIG.
  • Steps S31 to S35 are the same as steps S21 to S25 in FIG.
  • control unit 11 divides the signal values of the same pixels of the first image for each of the plurality of detection units 13 and the signal values of the same pixels of the image (average value image) generated from the average values in step S35. Then, signal values of pixels having intensity differences equal to or greater than a predetermined ratio are extracted from the plurality of first images (step S36).
  • control unit 11 generates a blemish area image based on the signal values of the pixels extracted from the plurality of first images (step S37).
  • the signal values of the extracted pixels are subjected to statistical processing such as averaging for each identical pixel, and the processed signal values are arranged at the original positions of the pixels to generate a scratch area image.
  • control unit 11 superimposes the blemish area image and the average value image to generate a blemish-enhanced image (second image) (step S38).
  • the scattering anisotropic image generation process is a process of expressing the anisotropy of scattering by a diffusing surface as, for example, the angular dependence of the scattering intensity, and indexing the degree of scattering on the scattering surface.
  • step S17 in FIG. 6 corresponds to steps S41 to S44 in FIG. 9, and step S41 in FIG. 9 is the same as step S21 in FIG. 4 or 5 may be used for the arrangement of the detectors, but it is preferable to arrange them on the circumference (on the three-dimensional spherical surface) shown in FIG.
  • control unit 11 evaluates the angular dependence of the scattering intensity based on the position information of the plurality of detection units 13, and calculates the feature amount (step S42).
  • FIG. 10 is a diagram showing the positions of a plurality of detection units 13 (viewpoint positions 0 to 8) and how light projected from the illumination projection unit 12 is reflected. It is assumed that the upper portion of the object H to be measured is glossy. The reflection component of light includes the reflection component due to gloss and the reflection component due to diffusion. is totally reflected.
  • FIG. 11 is a diagram showing the light intensity for each viewpoint position.
  • the glossy member (measurement object H) is arranged as shown in FIG. 10, a large amount of light reflected by the glossy surface is reflected at the viewpoint position 4, so the light intensity at the viewpoint position 4 appears strong.
  • the diffusing member there is no large difference in light intensity for each viewpoint position.
  • the control unit 11 can obtain one reflection due to gloss for each same pixel of the first image for each of the plurality of detection units 13 .
  • Features can be calculated. That is, the control unit 11 can calculate the ratio (one feature amount) of the reflection component due to glossiness (for example, viewpoint position 4) among the reflection components.
  • Feature quantity (gloss index) gloss intensity/(gloss intensity+diffusion intensity) Equation (1)
  • the diffusion intensity is obtained in advance using a different sample having the same material and the same shape as the object H to be measured and having no gloss, and is compared with the gloss intensity obtained in this scattering anisotropic image generation process. There is a method of doing.
  • the reflection component due to the gloss at each position can be calculated. Note that the above formula (1) is an example, and is not limited to this.
  • step S43 determines whether the calculation has been completed for all pixels. If the calculation has been completed (step S43; YES), the process proceeds to step S44, and if the calculation has not been completed (step S43; NO), the process proceeds to step S41, and the control unit 11 acquires the signal value of the pixel for which the calculation has not been completed. do.
  • control unit 11 generates an image (second image) representing the degree of diffusion based on the calculated feature amount (step S44). For example, one feature amount (gloss index) obtained by the above formula (1) for each same pixel of the first image of each of the plurality of detection units 13 is arranged at the original position of the pixel, and the feature amount (gloss index) By changing the color according to the size, one heat map image (second image) is finally generated.
  • the image forming system 100 is installed in a different place from the illumination projection unit 12 that irradiates the measurement object with the light of the two-dimensional illumination pattern, and the light of the illumination pattern reflected from the measurement object is a plurality of detection units 13 for detecting light intensity; an illumination control unit (control unit 11) that sequentially switches illumination patterns from among a plurality of illumination patterns and irradiates light from an illumination projection unit; A first image generation unit (control unit 11) that generates a two-dimensionally reconstructed first image for each detection unit 13 from the corresponding light intensity of the reflected light; A second image generation unit (control unit 11) that generates a new second image based on the first image is provided, so that the external appearance of the object can be inspected with a simple configuration at a low cost and simple image processing.
  • the first image can be easily used even when there is no structure to serve as a mark on the object, such as a film, or when an object, such as a resin molding, has various shapes and is not necessarily flat. Then, it becomes possible to generate the second image.
  • the detection unit 13 is a photodiode, it is inexpensive.
  • the illumination projection unit 12 includes a DMD, and the control unit 11 causes the bit-by-bit image of the RGB image to correspond to the clock frequency of the DMD, and converts the bit-by-bit image of the RGB image into an independent pattern, Since it is projected by the illumination projection unit 12, it is possible to increase the number of two-dimensional illumination patterns per unit time.
  • the second image generation unit (control unit 11) compares the light intensity of each identical pixel in the plurality of first images and performs predetermined processing.
  • the second image generation unit (control unit 11) generates, as a second image, an image obtained by processing halation removal and restoring the image of the halation generation corresponding portion from the plurality of first images. Therefore, the abnormal value is automatically removed without the need for the user to determine which detector 13 generated the abnormal value, and the image of the halation occurrence corresponding portion can be restored. In other words, since it is not possible to know how halation will occur until the lighting is applied, it is not possible to know in advance whether or not halation will occur unless the device is actually put into the device.
  • the detection unit 13 Halation can be automatically removed without correcting the position of each time.
  • the processing is, for example, statistical processing, etc., it can be easily realized.
  • the second image generation unit determines a flaw from the plurality of first images by processing, and generates an image in which the flawed portion is emphasized as the second image. Therefore, even if the object to be observed is arranged roughly with respect to the positions of the illumination projection unit 12 and the detection unit 13, it is possible to easily detect flaws occurring at arbitrary locations on the object. That is, it becomes possible to automatically determine the damage of the object. In particular, when it comes to scratches that occur on the target object, the presence or absence of the occurrence, the location of the occurrence, and the situation basically occur at random. is useful.
  • the second image generation unit calculates a feature amount representing scattering anisotropy from the light intensity of a specific portion of the measurement object in the plurality of first images, and calculates the second image based on the feature amount. Generate a scattering anisotropic image as an image. Therefore, it is possible to confirm the scattering anisotropy of the object with a simple and inexpensive configuration and simple image processing.
  • the image forming method sequentially switches the illumination pattern from a plurality of two-dimensional illumination patterns to irradiate the measurement object with light, and at different places, the light of the illumination pattern is reflected from the measurement object. detecting the intensity, generating a plurality of first images reconstructed for each different location where the light intensity is detected from the illumination pattern and the light intensity of the reflected light corresponding to the illumination pattern; Since it is a method of processing the light intensity of the same pixel and generating a new second image, it is possible to realize the appearance inspection of the object with a cheap and simple configuration and simple image processing. .
  • the program is installed in a different place from the illumination projection unit 12 that irradiates the measurement object with the light of the two-dimensional illumination pattern, and detects the light intensity of the light reflected from the measurement object by the light of the illumination pattern.
  • an illumination control unit for causing the computer of the image forming system 100 to irradiate light from the illumination projection unit 12 by sequentially switching illumination patterns from a plurality of illumination patterns, and an illumination pattern and a first image generation unit (control unit 11) that generates a first image reconstructed for each detection unit 13 from the light intensity of the reflected light corresponding to the illumination pattern;
  • a second image generation unit control unit 11
  • the external appearance of the object can be inspected with a cheap and simple configuration and simple image processing. can be realized.
  • the pedestal portion 18 of the object be made of a member that does not easily reflect the light of the projection projector.
  • light other than the illumination projection unit 12, for example, from indoor lighting is also reflected by the object and becomes a factor that lowers the S/N ratio of the analysis device. can be created.
  • the factors that cause whether or not halation occurs include the optical axis of the illumination projection unit 12, the orientation of the axis of the detection unit 13, the arrangement position, the surface state of the object, and the orientation of the object. Therefore, when the object becomes a different object, the direction of halation generated with respect to the light emitted from the same direction will change.
  • the present embodiment is not limited to this regarding the flaw-enhanced image generation processing.
  • Concerning the superimposition processing the outline of the damaged area may be expressed, and the method of acquiring the average value image may not consider the removal of outliers. Further, by further analyzing the shape, a process of determining whether it is a scratch or halation may be added. Further, the flow of FIG. 8 is obtained by adding steps S36 to S38 to the flow of FIG. Needless to say, there is no need to repeat this.
  • the present embodiment is not limited to this.
  • the unevenness of the flaw may be determined from the scattering anisotropy, or the superimposition processing may be performed in the same manner as the flaw-enhanced image generation processing.
  • the image from which halation has been removed by the halation removal process for each reconstructed image may be applied to the first image in the process of FIG.
  • an example using a hard disk, a semiconductor non-volatile memory, or the like is disclosed as a computer-readable medium for the program according to the present invention, but the present invention is not limited to this example.
  • portable recording media such as CD-ROMs can be applied.
  • a carrier wave is also applied as a medium for providing program data according to the present invention via a communication line.
  • the present disclosure can be used for image forming systems, image forming methods, and programs.
  • control unit 100 image forming system 11 control unit 12 illumination projection unit 13 detection unit 14 storage unit 15 display unit 16 operation unit 17 communication unit

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することのできる画像形成システム、画像形成方法、及びプログラムを提供する。画像形成システム１００は、二次元の照明パターンの光を測定対象物に照射する照明投影部１２と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部１３と、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部から光を照射させる照明制御部（制御部１１）と、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部ごとに、二次元に再構成された第１画像を生成する第１画像生成部（制御部１１）と、検出部ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部（制御部１１）と、を備える。

Description

画像形成システム、画像形成方法、及びプログラム
　本発明は、画像形成システム、画像形成方法、及びプログラムに関する。
　従来、フィルム加工、メッキ加工、又は塗装がされた部材のように、光沢のある部材の品質検査（外観検査）は、目視による検査が行われていた。
　目視による検査では、光の当て方や見る方向を随時変えながら、細かい傷や欠陥を見つけるのが一般的であり、手間や時間を要する作業であった。
　最近では、このような目視による検査を装置による自動検査で代替しようとする試みがされており、例えば特許文献１では、顕微鏡のリング照明の領域毎に照射タイミングをずらして、領域数分だけ画像撮影し、画像処理によってハレーションの除去や傷部分の強調などが行われている。
　なお、通常、リング照明を使用するのであれば、上記以外にも、対象物から離れた位置に設置する場合に加えて、対象物の近くに設置するローアングル照明を使用する場合などが存在し、取得したい画像の特徴に応じて使い分ける、または併用する方法なども考えられる。
　更に、より広い領域の検査では、例えば時間変化する縞模様の照明を物体に照射し、時系列で測定した画像から、画像処理によって傷部分を強調する検査方法が知られている。
　また、特許文献２でも、ハレーションを除去した外観検査方法が紹介されている。特許文献２では、照明によるハレーションを除去するために、対象物を複数の照明で直接照らさずに、対象物と照明との間に半円柱の拡散板をもちいることで、２次的に拡散型のドーム光源を作り出し、このドーム光源による照射の反射光により対象物を１つのカメラで観察する検査方法が提案されている。
特開２０１５－４０７９６号 特許６６１６０４０号
　しかし、特許文献１のように、複数の照明条件で撮影した複数の画像をもとに、画像処理を経てハレーション除去や傷強調を行う際には、通常、照明が複数個あってカメラが固定の１個を用いる構成がとられる。これは、複数枚の画像をもとに一枚の画像を生成する際に、視点が異なると、各々のカメラと測定対象物との位置関係を把握して、適切な画像処理を施す必要があり、画像生成（画像合成）が困難であることに起因する。
　そのため、照明条件数に比例して撮影時間が長くなること、対象物の大きさが照明器具の大きさの制約を受けること、または、対象物を動かす機構を設けることなどの欠点がある。
　また、特許文献２では、対象物が大きくなると、付随して拡散型ドームの拡散板も大きな物を用意しなければならず、また、対象物とカメラとの光路内には、拡散板の穴を設ける関係上、装置全体や照明部も大掛かりにならざるをえない。
　したがって、本発明の課題は、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することである。
　上記課題を解決するため、本発明の画像形成システムは、
　二次元の照明パターンの光を測定対象物に照射する照明投影部と、
　異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、
　複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部と、
　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに、二次元に再構成された第１画像を生成する第１画像生成部と、
　前記検出部ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部と、
　を備える。
　また、本発明の画像形成方法は、
　複数の二次元の照明パターンの中から順次前記照明パターンを切り替えて光を測定対象物に照射し、
　異なる場所において、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出し、
　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、光強度を検出した前記異なる場所ごとに二次元に再構成された複数の第１画像を生成し、
　前記複数の第１画像における各同一ピクセルの前記光強度に処理を施し、新たな第２画像を生成する。
　また、本発明のプログラムは、
　二次元の照明パターンの光を測定対象物に照射する照明投影部と、異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、とを備える画像形成システムのコンピューターを、
　複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部、
　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに二次元に再構成された第１画像を生成する第１画像生成部、
　前記検出部ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部、
　として機能させる。
　本発明によれば、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
画像形成システムの概略構成を示す概略図である。 画像形成システムの機能構成を示すブロック図である。 照明投影部による対象物への照明パターンの例である。 照明投影部及び複数の検出部の配置の形態例である。 照明投影部及び複数の検出部の配置の形態例である。 画像形成処理のフローチャートである。 ハレーション除去処理のフローチャートである。 傷強調画像生成処理のフローチャートである。 散乱異方性画像生成処理のフローチャートである。 散乱異方性画像生成処理における照明投影部及び複数の検出部の配置の形態例である。 散乱異方性画像生成処理における視点位置と光強度である。
　以下、図面を参照して本発明の実施形態について説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態および図示例に限定するものではない。特に、図面は、説明の都合上簡略されており、照明パターンと対象物との比率とは異なる場合がある。
（画像形成システムの構成）
　図１は、本実施形態の画像形成システム１００の概略構成を示す概略図である。そして、画像形成システム１００は、主に非発光物体である対象物の外観に関する情報を出力するために用いられる。
　図１は、金属製の電動のこぎり刃のような光沢面を有する測定対象物Ｈを観察する場合の例である。図２は、本実施形態の画像形成システム１００の機能構成を示すブロック図である。ここで、測定対象物Ｈである電動のこぎり刃は、台座部１８に配置されている。
　図１、図２に示すように、画像形成システム１００は、制御部１１、照明投影部１２、検出部１３、記憶部１４、表示部１５、操作部１６、通信部１７などを備える。
　画像形成システム１００では、照明投影部１２により二次元の照明パターンＰを特定時間毎に変更し、該当する照明パターンの光を測定対象物Ｈに投影する。そして、測定対象物Ｈからの反射光を検出部１３が検出し、時間変動する受光信号Ｓを制御部１１に送る。そして、制御部１１は、特定時間毎に変更された二次元の照明パターンＰと、それに対応する時間変動する一次元の受光信号Ｓを基に、ＳＰＩ（Ｓｉｎｇｌｅ－ｐｉｘｅｌ　ｉｍａｇｉｎｇ）技術を用いて二次元に再構成された再構成画像（第１画像）を生成する。
　なお、照明パターンＰと受光信号Ｓを基に、再構成画像を生成するので、一つの検出部１３に対して、一つの再構成画像が生成される。
　制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等から構成されている。制御部１１は、画像形成システム１００の各部（照明投影部１２、検出部１３、記憶部１４、表示部１５、操作部１６、通信部１７）に接続されており、各部の動作を制御する。また、制御部１１は、記憶部１４に記憶されているプログラムとの協働により、後述する画像形成処理を始めとする各種処理を実行する。
　制御部１１は、照明制御部として照明投影部１２の照明パターンＰを制御する。
　また、制御部１１は、照明パターンＰに対応した光強度（受光信号Ｓ）を複数の検出部１３から取得し、照明パターンＰと光強度（受光信号Ｓ）から、検出部１３ごとに、二次元に再構成された第１画像を生成する第１画像生成部として機能する。
　また、制御部１１は、検出部１３ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部として機能する。
　また、制御部１１は、複数の照明パターンＰを生成し、記憶部１４に記憶させる。
　例えば、再構成に必要な全枚数が記憶部１４に格納可能でない場合は、全枚数のうち格納可能な枚数分のみを生成する。
　また、再構成画像のピクセル解像度に応じた照明パターンＰを生成してもよい。
　また、再構成画像の空間解像度に応じた照明パターンＰを生成してもよい。
　また、撮像範囲の大きさに応じた照明パターンＰを生成してもよい。
　また、低空間周波数の照明パターンＰから生成してもよい。つまり、４０００枚の照明パターンＰが必要な場合、低周波側から照明パターンＰを１００枚生成し、次のタイミングでその次の低周波側から照明パターンＰを１００枚生成し、最後に高周波の照明パターンＰを生成する。また、高空間周波数の照明パターンＰから生成してもよい。なお、低空間周波数の照明パターンＰから照明投影部１２に照射させた方が、測定対象物Ｈの大まかな再構成画像を早く得られやすい。
　また、測定対象物Ｈの表面状態に応じた明るさの照明パターンを生成してもよい。つまり、検出部１３のダイナミックレンジを有効に使用するために、白黒の２値画像を照明パターンＰとし、各ピクセルが０から２５５の範囲を取るとした場合、測定対象物Ｈの表面が正反射の大きそうな金属面やガラス面等では、例えば黒は０、白は１５のように、少し暗めの照明パターンＰとし、正反射が小さそうなものでは、例えば黒は０、白は２５５のように明るめの照明パターンＰとする。
　照明投影部１２は、例えば、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）を用いた投影プロジェクタである。なお、照明投影部１２は、各種プロジェクタでもよく、ＤＭＤを用いた投影プロジェクタに限定されない。
　照明投影部１２は、制御部１１により制御され、例えば、図３に示す二次元の照明パターンＰを、特定時間毎に変更し、測定対象物Ｈに対して投影する。なお、照明パターンＰは、制御部１１にて作成される。また、照明パターンＰは、あらかじめ記憶部１４に記憶されていてもよい。
　なお、照明投影部１２により投影される二次元の照明パターンＰの解像度は、再構成画像の解像度に影響すると共に、投影する二次元の照明パターンＰの投影枚数も再構成画像の解像度にも影響する。
　また、ＤＭＤのフレームレートは６０Ｈｚとか１２０Ｈｚではあるが次の手法により、単位時間当たりの二次元の照明パターンＰを増加させる事が出来る。
　ＤＭＤはその原理的な特徴から、画像のビットを順々に投影することが可能である。また、一般に画像の１画素はＲＧＢ各８ビットの計２４ビットで構成されており、各ビットを１枚の画像としてＤＭＤのクロック周波数に対して対応させ、順々に投影する。ただし、１画素が１ビットで表現される画像は諧調の表現は不可能であり、いわゆる白黒画像のみが投影可能である。例えばアダマール照明のように、いわゆる白黒画像として表現される画像を照明パターンとして用いることで、フレームレートの２４倍の画像を単位時間で投影可能となる。
　検出部１３は、特定時間毎に変動する各照明パターンＰの光に対する測定対象物Ｈからの反射光の光強度（受光信号Ｓ）の時間変動を測定する。
　検出部１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）のような二次元センサー、ラインＣＣＤのような一次元センサー、フォトダイオード（フォトディテクター）のアレイ、単一のフォトダイオード（フォトディテクター）等が使用可能である。
　図１に示す概略図では、検出部１３が一つであるが、本実施形態では、複数個の検出部１３が各々異なる場所に配置されており、例えば、図４に示すように、測定対象物Ｈを囲むような円周上（３次元的な球面上）に検出部１３を配置する形態がある。
　なお、図５に示す形態例のように、直線状に検出部１３を配置してもよい。
　また、図４、図５は図面上に簡易的に記載しており、７つの検出部１３を上空俯瞰で見た場合に分散させて配置しても十分に解析処理可能である。
　記憶部１４は、不揮発性の半導体メモリーやハードディスク等により構成され、制御部１１により実行されるプログラムやプログラムの実行に必要なデータ、照明パターン、検出部１３の受光信号Ｓ、各種生成された画像、撮影履歴等を記憶している。
　表示部１５は、制御部１１の表示制御に従って、ディスプレイに操作画面、画像形成システム１００の動作状況等を表示する。
　操作部１６は、処理開始等の入力操作に用いるキー群の他、表示部１５のディスプレイと一体に構成されたタッチパネルを備え、これらの操作に応じた操作信号を生成して制御部１１に出力する。
　通信部１７は、通信インターフェイスを備え、ネットワーク上の外部機器と通信を行う。
（画像形成処理）
　画像形成処理のフローを、図６を用いて説明する。なお、検出部１３は、７つ配置されているとする。
　まず、制御部１１は、所定数の照明パターンＰを生成し、記憶部１４に記憶させる（ステップＳ１１）。なお、あらかじめ記憶部１４に記憶された照明パターンＰから、ユーザーが、測定対象物Ｈに応じて照射する照明パターンＰを所定数選択し、制御部１１は、記憶部１４から照明パターンＰを取得してもよい。
　次に、制御部１１は、照明投影部１２に、ステップＳ１１にて記憶部１４に記憶させた照明パターンＰの内、１つの照明パターンＰを測定対象物Ｈに照射させる（ステップＳ１２）。
　次に、制御部１１は、複数の検出部１３から、検出部１３ごとに、測定対象物Ｈからの光を受信した受光信号Ｓを取得する（ステップＳ１３）。
　次に、制御部１１は、ステップＳ１１にて記憶部１４に記憶させた所定数の照明パターンＰを全て照明投影部１２に照射させたか判断する（ステップＳ１４）。全ての照明パターンＰを照明投影部１２に照射させた場合（ステップＳ１４；ＹＥＳ）、ステップＳ１５に進み、全ての照明パターンＰを照明投影部１２に照射させ終わっていない場合（ステップＳ１４；ＮＯ）、ステップＳ１２に進み、制御部１１は、照明投影部１２に次の照明パターンＰを照射させる。
　次に、制御部１１は、完了した照明パターンＰ（ステップＳ１１にて記憶部１４に記憶させた全照明パターンＰ）と複数の検出部１３ごとの受光信号Ｓから、複数の検出部１３ごとに二次元の画像に再構成を行い、複数の再構成画像（第１画像）を生成する（ステップＳ１５）。
　ここで、第１画像は、各検出部１３から測定対象物Ｈを見たアングルで生成される。例えば、図４や図５の形態では、７枚の再構成画像が生成される。
　次に、制御部１１は、第１画像の生成に十分な数の照明パターンＰを照明投影部１２に照射させたか判断する（ステップＳ１６）。照射させた場合（ステップＳ１６；ＹＥＳ）、ステップＳ１５では、７枚の第１画像が完成され、ステップＳ１７に進むこととなる。また、照射させ終わっていない場合（ステップＳ１６；ＮＯ）、ステップＳ１１に進み、さらに所定数の異なる照明パターンＰを新たに作成し、処理を続ける。
　なお、ステップＳ１６における判断は、照射させた照明パターンＰの数を基に行うのではなく、ステップＳ１５にて生成した再構成画像（第１画像）の品質（例えばＳＮ比）を算出し、その品質が所定の基準を満たしているかどうかを基に行ってもよい。
　また、ステップＳ１５における第１画像の生成においては、第１画像の生成直前のステップＳ１１にて生成された全ての照明パターンＰを用いて、再構成画像の生成が行われ、処理が開始されてから第１画像の生成までに生成された再構成画像を足し合わせることで、第１画像を生成する。つまり、処理が開始されてから第１画像の生成までにステップＳ１１にて生成された照明パターンＰの全てを用いた第１画像（再構成画像）が生成されることとなる。具体的には、再構成に必要な照明パターンＰの数が１０００の場合、まず、所定数として１００個（１～１００）の照明パターンを照射し、１～１００パターンを用いて再構成画像１を生成する。次に、所定数として１００個（１０１～２００）の照明パターンを照射し、１０１～２００パターンを用いて再構成画像２を生成する。次に、所定数として１００個（２０１～３００）の照明パターンを照射し、２０１～３００パターンを用いて再構成画像３を生成するということを繰り返す。そして、再構成画像１と再構成画像２と再構成画像３・・・を足し合わせることで、第１画像（再構成画像）が生成される。
　また、複数の検出部１３ごとに第１画像（再構成画像）の信号強度を規格化してもよい。例えば、測定対象物Ｈの背景であることが既知の画素の信号強度が０になるように、背景強度を除去する。また、画像の最小強度を背景強度とみなして、最小強度が０になるように背景強度を除去してもよい。また、画像の平均強度が各第１画像で同一になるように、各第１画像の信号強度を定数倍してもよい。
　次に、制御部１１は、複数の検出部１３の数だけ作成された第１画像を用いて、新たな第２画像を生成する第２画像生成処理を行う（ステップＳ１７）。例えば、第２画像生成処理は、後述するハレーション除去処理や、傷強調画像生成処理、散乱異方性画像生成処理である。各処理の具体的なフローは後述する。
　なお、第２画像生成処理において、複数の第１画像の位置合わせは不要である。なぜなら、再構成画像は、既知の二次元座標の照明パターンＰと１次元情報の受光信号Ｓを基に演算により生成されるためである。
　次に、制御部１１は、表示部１５に、第２画像を表示する（ステップＳ１８）。
（第２画像生成処理；ハレーション除去処理）
　ハレーション除去処理のフローを、図７を用いて説明する。ハレーション除去処理とは、７つの再構成画像（第１画像）の各同一ピクセルの信号値に対して、所定の処理を実施して、ハレーション除去した出力画像（第２画像）を作成するものである。
　なお、図６のステップＳ１７が、図７のステップＳ２１からステップＳ２５にあたる。
　まず、制御部１１は、複数の検出部１３ごとの第１画像の各同一ピクセルの信号値を取得する（ステップＳ２１）。なお、第１画像にユーザー指定等により特定の仮想画素を当てはめてもよい。その場合、仮想画素毎の信号値を制御部１１にて取得する。
　次に、制御部１１は、同一ピクセルの信号値に対し、異常値を除外する（ステップＳ２２）。例えば、最大値Ｎ個及び最小値Ｎ個を除外する。つまり、フィルムのハレーションであれば表面における光の正反射現象により発生している場合が多く、当該箇所の反射率は周辺箇所よりも極端に高い異常値となるため、除外する。なお、低い異常値も除外する。他の例としては、中央値を使用し、中央値以外を除外してもよい。また、異常値を閾値で判断してもよい。また、各種統計処理方法を用い、異常値を除外してもよい。
　次に、制御部１１は、残った信号値の平均を算出する（ステップＳ２３）。
　次に、制御部１１は、全ピクセルで算出完了したか判断する（ステップＳ２４）。算出完了した場合（ステップＳ２４；ＹＥＳ）、ステップＳ２５に進み、算出完了していない場合（ステップＳ２４；ＮＯ）、ステップＳ２１に進み、制御部１１は、算出完了していないピクセルの信号値を取得する。
　次に、制御部１１は、各ピクセルで算出した平均値から画像（第２画像）を生成する（ステップＳ２５）。
（第２画像生成処理；傷強調画像生成処理）
　傷強調画像生成処理のフローを、図８を用いて説明する。傷強調画像生成処理とは、７つの再構成画像（第１画像）の各同一ピクセルの信号値に対して、所定の処理した信号値と比較し、強度差が所定の割合以上となったピクセルを抽出し、抽出したピクセルの信号値等に基づき、傷強調画像（第２画像）を作成するものである。
　なお、図６のステップＳ１７が、図８のステップＳ３１からステップＳ３８にあたる。なお、ステップＳ３１からステップＳ３５は、図７のステップＳ２１からステップＳ２５と同じである。
　次に、制御部１１は、複数の検出部１３ごとの第１画像の各同一ピクセルの信号値と、ステップＳ３５にて平均値から生成した画像（平均値画像）の同一ピクセルの信号値とを比較し、所定の割合以上の強度差があるピクセルの信号値を、複数の第１画像から抽出する（ステップＳ３６）。
　次に、制御部１１は、複数の第１画像から抽出されたピクセルの信号値を基に傷領域画像を生成する（ステップＳ３７）。例えば、抽出したピクセルの信号値を、同一ピクセルごとに平均などの統計処理などをし、処理された信号値を、そのピクセルの元の位置に並べることで傷領域画像を生成する。
　次に、制御部１１は、傷領域画像と平均値画像とを重畳して、傷強調画像（第２画像）を生成する（ステップＳ３８）。
（第２画像生成処理；散乱異方性画像生成処理）
　散乱異方性画像生成処理のフローを、図９を用いて説明する。散乱異方性画像生成処理とは、拡散面による散乱の異方性を、例えば散乱強度の角度依存性として表現し、散乱面の散乱の程度を指標化する処理である。
　なお、図６のステップＳ１７が、図９のステップＳ４１からステップＳ４４にあたり、図９のステップＳ４１は、図７のステップＳ２１と同じである。
　そして、検出部の配置は図４又は図５でも構わないが、図４に示す円周上（３次元的な球面上）に配置するものが好ましい。
　次に、制御部１１は、複数の検出部１３の位置情報を基に、散乱強度の角度依存性を評価し、特徴量を算出する（ステップＳ４２）。
　ここで、ステップＳ４２における特徴量の算出方法を説明する。図１０は、複数の検出部１３の位置（視点位置０～８）と照明投影部１２から投影された光がどのように反射するかということを表した図である。なお、測定対象物Ｈの上部に光沢があるとする。
　光の反射成分には、光沢による反射成分と拡散による反射成分があり、光沢による反射成分は投影された光と光沢面がなす入射角に対応する反射角の方向に強く反射され、一方、拡散による反射成分は全体的に反射される。
　図１１は、視点位置ごとの光強度を表した図である。光沢部材（測定対象物Ｈ）では、図１０の配置とすると、その光沢面で反射された光は視点位置４に多く反射されるため、視点位置４における光強度が強く表れている。なお、拡散部材の場合は、視点位置ごとの光強度に大きな差はない。
　そして、反射には、上記のような性質があるため、次の式（１）を用いることで、制御部１１は、複数の検出部１３ごとの第１画像の同一ピクセルごとに光沢による１つの特徴量を算出できる。つまり、制御部１１は、反射成分の内、光沢による反射成分（例えば、視点位置４）の割合（１つの特徴量）を算出できる。
　特徴量（光沢指標）＝光沢強度／（光沢強度＋拡散強度）・・・式（１）
　なお、例えば、拡散強度は、測定対象物Ｈと同一素材、同一形状で光沢がない別のサンプルを用いて予め取得しておき、本散乱異方性画像生成処理にて取得した光沢強度と比較するといった方法が挙げられる。また、本散乱異方性画像生成処理にて、複数の検出部１３ごとの第１画像の同一ピクセルの信号値の内、最小の値を拡散強度とすることでも、各位置における光沢による反射成分の割合を算出できる。
　なお、上記式（１）は例であり、これに限られない。
　次に、制御部１１は、全ピクセルで算出完了したか判断する（ステップＳ４３）。算出完了した場合（ステップＳ４３；ＹＥＳ）、ステップＳ４４に進み、算出完了していない場合（ステップＳ４３；ＮＯ）、ステップＳ４１に進み、制御部１１は、算出完了していないピクセルの信号値を取得する。
　次に、制御部１１は、算出した特徴量を基に、拡散の程度を表す画像（第２画像）を生成する（ステップＳ４４）。例えば、複数の検出部１３ごとの第１画像の同一ピクセルごとに上記式（１）で求めた１つの特徴量（光沢指標）を、そのピクセルの元の位置に並べ、特徴量（光沢指標）の大きさにより色を変えることで、最終的に１つのヒートマップ画像（第２画像）が生成される。
　以上のことから、画像形成システム１００は、二次元の照明パターンの光を測定対象物に照射する照明投影部１２と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部１３と、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部から光を照射させる照明制御部（制御部１１）と、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部１３ごとに、二次元に再構成された第１画像を生成する第１画像生成部（制御部１１）と、検出部１３ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部（制御部１１）と、を備えるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
　例えば、フィルムのように対象物上に目印となる構造が存在しない場合や、樹脂成型物のように多様な形状をとり平面とは限らないような物体の場合でも、容易に第１画像を用いて、第２画像を生成することが可能となる。
　また、検出部１３は、フォトダイオードであるため、安価である。
　また、照明投影部１２は、ＤＭＤを含み、制御部１１は、ＤＭＤのクロック周波数に対して、ＲＧＢ画像のビットごとの画像を対応させ、ＲＧＢ画像のビットごとの画像を、独立したパターンとして、照明投影部１２に投影させるため、単位時間当たりの二次元照明パターンを増加させる事が可能となる。
　また、第２画像生成部（制御部１１）は、複数の第１画像における各同一ピクセルの光強度を比較して所定の処理を行う。
　また、第２画像生成部（制御部１１）は、複数の第１画像から、処理によりハレーション除去及びハレーション発生該当部の画像を復元させた画像を第２画像として生成する。
　したがって、異常値が、どの検出部１３で発生したかをユーザー判断することなく、自動的に除去され、ハレーション発生該当部の画像を復元することが可能となる。つまり、ハレーションは照明を当てて初めて、どのように発生するのか分かるため、実際に装置に投入してみないとハレーションの発生有無は事前には分からないという実態において、ユーザーが被写体や照明の位置を考える必要が減ることとなる。
　また、対象物がラフに装置に対して置かれても、また対象物が入れ替わって状況が変わったときも（光沢面のあるフィルムの次が、革シートが来た場合など）、検出部１３の位置を都度修正することなく、自動的にハレーション除去できる。
　また、処理は、例えば、統計処理等であるから、簡単に実現できる。
　また、第２画像生成部（制御部１１）は、複数の第１画像から、処理により傷を判別し、傷部分を強調処理した画像を第２画像として生成する。
　したがって、観察する対象物を照明投影部１２や検出部１３の位置に対してラフに配置したとしても、容易に対象物の任意箇所に発生する傷を検出することが可能となる。つまり、対象物の傷を自動判定することが可能となる。
　特に、対象物に発生する傷に関しては、その発生有無や発生位置や状況は基本的にはランダムには発生するので、事前に傷の状況を予想することは難しいため、ラフに配置できるということは有用である。
　また、第２画像生成部（制御部１１）は、複数の第１画像における測定対象物の特定箇所の光強度から、散乱異方性を表す特徴量を算出し、特徴量に基づき、第２画像として散乱異方性画像を生成する。
　したがって、安価で簡単な構成、及び簡易な画像処理にて、対象物の散乱異方性を確認することが可能となる。
　また、画像形成方法は、複数の二次元の照明パターンの中から順次照明パターンを切り替えて光を測定対象物に照射し、異なる場所において、照明パターンの光による測定対象物からの反射光の光強度を検出し、照明パターンと当該照明パターンに対応した反射光の光強度から、光強度を検出した異なる場所ごとに再構成された複数の第１画像を生成し、複数の第１画像における各同一ピクセルの光強度に処理を施し、新たな第２画像を生成する方法であるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
　また、プログラムは、二次元の照明パターンの光を測定対象物に照射する照明投影部１２と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部１３と、とを備える画像形成システム１００のコンピューターを、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部１２から光を照射させる照明制御部（制御部１１）、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部１３ごとに再構成された第１画像を生成する第１画像生成部（制御部１１）、検出部１３ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部（制御部１１）、として機能させるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
　以上、本発明の実施形態及びその変形例について説明したが、上述した本実施形態における記述は、本発明に係る好適な一例であり、これに限定されるものではない。
　例えば、対象物検知という観点では、対象物の台座部１８は投影プロジェクタの光を反射しにくい部材で構成することが望ましい。また、照明投影部１２以外の例えば室内照明からの光も対象物で反射し解析装置のＳ／Ｎ比を低下させる要因にはなるが、ＳＰＩ解析の中でもこの影響を加味した上で再構成画像を作成しうる。
　なお、上記ハレーションは実際に装置に投入してみないとハレーションの発生有無は事前には分からないという実態とは、すなわち、ハレーションは、対象物の巨視的な湾曲にも依存するため、ある位置の検出部１３ではハレーションが発生するかもしれないが、どの位置の検出部１３で発生するかは不明である。また、ハレーションは、対象物の状態に依存するため、すべての位置でハレーションが発生しないかもしれない。一方で、全ての方向に光が向かうとなるとこれは当該箇所で散乱が発生している事となり、通常は異常値とまではいかず、通常の対象物の反射率と同等と考えられるため、全ての検出部１３でハレーションが発生する可能性は低い。つまり、ハレーションの発生有無は事前には予測が難しいという実態である。
　また、そもそもハレーション発生有無が発生する要因は、照明投影部１２の光軸であったり検出部１３の軸の向きであったり配置位置、更に対象物の表面状態や対象物の向きが挙げられる。したがって、対象物が別の物になると、同一の方向から照射している光に対して発生するハレーションの方向が変わることとなる。
　また、傷強調画像生成処理に関し、本実施形態はこれに限るものではない。重畳処理に関しては傷領域の輪郭を表現するものであってもよいし、平均値画像の取得方法は外れ値の除去を考慮しないものであってもよい。また、その形状をさらに分析することで、傷かハレーションかを判断する処理を追加してもよい。
　また、図８のフローは、図７のフローに、ステップＳ３６からステップＳ３８を追加したものであるため、ハレーション除去処理と傷強調画像生成処理とを併せて実施する場合、ステップＳ３１からステップＳ３５を重複実施する必要はないことは言うまでもない。
　また、散乱異方性画像生成処理に関し、本実施形態はこれに限るものではない。例えば、散乱異方性から傷の凹凸を判断するものであってもよいし、傷強調画像生成処理同様に重畳処理を実施してもよい。
　また、図９のフローの前に、再構成画像ごとにハレーション除去処理にてハレーション除去した画像を、図９の処理の最初の画像に適用しても構わない。
　また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
　その他、画像形成システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　本開示は、画像形成システム、画像形成方法、及びプログラムに利用できる。
１００　画像形成システム
１１　制御部
１２　照明投影部
１３　検出部
１４　記憶部
１５　表示部
１６　操作部
１７　通信部

Claims (9)

  1. 　二次元の照明パターンの光を測定対象物に照射する照明投影部と、
    　異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、
    　複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部と、
    　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに、二次元に再構成された第１画像を生成する第１画像生成部と、
    　前記検出部ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部と、
    　を備える画像形成システム。
  2. 　前記検出部は、フォトダイオードである請求項１に記載の画像形成システム。
  3. 　前記照明投影部は、ＤＭＤを含み、
    　前記照明制御部は、前記ＤＭＤのクロック周波数に対して、ＲＧＢ画像のビットごとの画像を対応させ、
    　ＲＧＢ画像のビットごとの画像を、独立したパターンとして、前記照明投影部に投影させる請求項１又は２に記載の画像形成システム。
  4. 　前記第２画像生成部は、複数の前記第１画像における各同一ピクセルの前記光強度を比較して所定の処理を行う請求項１から３のいずれか一項に記載の画像形成システム。
  5. 　前記第２画像生成部は、前記複数の第１画像から、前記処理によりハレーション除去及びハレーション発生該当部の画像を復元させた画像を前記第２画像として生成する請求項４に記載の画像形成システム。
  6. 　前記第２画像生成部は、前記複数の第１画像から、前記処理により傷を判別し、前記傷部分を強調処理した画像を前記第２画像として生成する請求項４に記載の画像形成システム。
  7. 　前記第２画像生成部は、前記複数の第１画像における各同一ピクセルの前記光強度から、散乱異方性を表す特徴量を算出し、前記特徴量に基づき、前記第２画像として散乱異方性画像を生成する請求項１から３のいずれか一項に記載の画像形成システム。
  8. 　複数の二次元の照明パターンの中から順次前記照明パターンを切り替えて光を測定対象物に照射し、
    　異なる場所において、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出し、
    　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、光強度を検出した前記異なる場所ごとに二次元に再構成された複数の第１画像を生成し、
    　前記複数の第１画像における各同一ピクセルの前記光強度に処理を施し、新たな第２画像を生成する画像形成方法。
  9. 　二次元の照明パターンの光を測定対象物に照射する照明投影部と、異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の
    検出部と、とを備える画像形成システムのコンピューターを、
    　複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部、
    　前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに二次元に再構成された第１画像を生成する第１画像生成部、
    　前記検出部ごとに生成された複数の第１画像に基づいて、新たな第２画像を生成する第２画像生成部、
    　として機能させるプログラム。
PCT/JP2022/042887 2021-11-29 2022-11-18 画像形成システム、画像形成方法、及びプログラム WO2023095733A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021192820 2021-11-29
JP2021-192820 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095733A1 true WO2023095733A1 (ja) 2023-06-01

Family

ID=86539378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042887 WO2023095733A1 (ja) 2021-11-29 2022-11-18 画像形成システム、画像形成方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023095733A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005127989A (ja) * 2003-10-03 2005-05-19 Olympus Corp 傷検出装置および傷検出プログラム
JP2006208632A (ja) * 2005-01-27 2006-08-10 Nikon Corp 光学測定装置
JP2012042332A (ja) * 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
WO2018139237A1 (ja) * 2017-01-25 2018-08-02 国立研究開発法人産業技術総合研究所 画像処理方法
JP2019082451A (ja) * 2017-10-31 2019-05-30 キヤノン株式会社 反射特性測定装置、加工システム、反射特性測定方法、物体の加工方法
JP2021139816A (ja) * 2020-03-06 2021-09-16 コニカミノルタ株式会社 ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム
JP2021139817A (ja) * 2020-03-06 2021-09-16 コニカミノルタ株式会社 ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005127989A (ja) * 2003-10-03 2005-05-19 Olympus Corp 傷検出装置および傷検出プログラム
JP2006208632A (ja) * 2005-01-27 2006-08-10 Nikon Corp 光学測定装置
JP2012042332A (ja) * 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
WO2018139237A1 (ja) * 2017-01-25 2018-08-02 国立研究開発法人産業技術総合研究所 画像処理方法
JP2019082451A (ja) * 2017-10-31 2019-05-30 キヤノン株式会社 反射特性測定装置、加工システム、反射特性測定方法、物体の加工方法
JP2021139816A (ja) * 2020-03-06 2021-09-16 コニカミノルタ株式会社 ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム
JP2021139817A (ja) * 2020-03-06 2021-09-16 コニカミノルタ株式会社 ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム

Similar Documents

Publication Publication Date Title
US10805552B2 (en) Visual inspection device and illumination condition setting method of visual inspection device
CN108445007B (zh) 一种基于图像融合的检测方法及其检测装置
JP6795993B2 (ja) 形状測定システム、形状測定装置及び形状測定方法
KR101284268B1 (ko) 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법
TWI614483B (zh) 光源亮度檢測方法及系統
JP2010112941A (ja) 表面検査装置
US10593031B2 (en) Texture evaluation apparatus, texture evaluation method, and computer-readable recording medium
JP6256249B2 (ja) 計測装置、基板検査装置、及びその制御方法
US20170053394A1 (en) Inspection apparatus, inspection method, and article manufacturing method
JP5682419B2 (ja) 検査方法及び検査装置
KR101630596B1 (ko) 차량하부 촬영장치 및 이를 운용하는 차량하부 촬영방법
KR20130109365A (ko) 표면결함 검사장치 및 그 제어 방법
TW201604536A (zh) 應用重覆曝光之多曝光影像混和的檢測方法
JP2009097977A (ja) 外観検査装置
CN114324344A (zh) 行扫描用非郎伯表面检查系统
WO2023095733A1 (ja) 画像形成システム、画像形成方法、及びプログラム
JPH09210653A (ja) 面方向検出装置
JP2009264876A (ja) 製品品質の検査システム及びその方法
JP3585225B2 (ja) カラー照明を用いた欠陥検査方法
KR102171773B1 (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
JP6327163B2 (ja) 検査装置および検査方法
KR101469615B1 (ko) 무작위검색 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
JP2008224540A (ja) 歪み検査方法および検査装置
JP2006292500A (ja) 表面検査方法及び表面検査装置
KR20200107404A (ko) 디스플레이 패널 검사장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898516

Country of ref document: EP

Kind code of ref document: A1