WO2025173293A1 - デジタル画像補正装置、デジタル画像補正方法およびプログラム - Google Patents

デジタル画像補正装置、デジタル画像補正方法およびプログラム

Info

Publication number
WO2025173293A1
WO2025173293A1 PCT/JP2024/033261 JP2024033261W WO2025173293A1 WO 2025173293 A1 WO2025173293 A1 WO 2025173293A1 JP 2024033261 W JP2024033261 W JP 2024033261W WO 2025173293 A1 WO2025173293 A1 WO 2025173293A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital image
correction
correction device
image correction
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/033261
Other languages
English (en)
French (fr)
Inventor
佑 春別府
道宏 川下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of WO2025173293A1 publication Critical patent/WO2025173293A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Definitions

  • the present invention relates to a digital image correction device, a digital image correction method, and a program.
  • This invention claims priority to Japanese patent application number 2024-021950, filed on February 16, 2024, and the contents of that application are incorporated by reference into this application in designated states where incorporation by reference of documents is permitted.
  • Digital Image Correlation is known as a technology for measuring displacement and strain in structures.
  • DIC Digital Image Correlation
  • a random pattern of irregular spots is applied to the surface of the area to be measured on the object, a load is applied to the object to deform it, and the shape of the random pattern that changes before and after the deformation is photographed.
  • the amount of relative movement is then analyzed using images to estimate the distribution of displacement and strain.
  • Patent Document 1 also discloses technology related to DIC. Specifically, it states that "This displacement measurement sheet is used to acquire images in digital image correlation.
  • the displacement measurement sheet is composed of a flexible sheet with a finite shape, and the measurement field of view range of the displacement measurement sheet is divided vertically into n areas and horizontally into m areas. In each divided area, a pattern of arbitrary shape and a color different from the background color is formed using digital data for measurement by digital image correlation, and the pattern is arranged within the sheet without line symmetry or point symmetry.”
  • the measurement resolution for displacement and strain depends on the resolution of the digital image. In other words, the measurement resolution improves if the measurement area can be analyzed using a digital image with a greater number of pixels. Therefore, the upper limit of measurement resolution is determined by the upper limit of the resolution of the camera used. On the other hand, the larger the measurement area in a single image, the fewer the number of pixels per unit area, and therefore the lower the measurement resolution.
  • one possible method is to move the measurement object or the camera, for example, and capture images while changing (scanning) the measurement area.
  • this method because either the camera or the measurement object is moved when capturing images before and after deformation of the measurement object, the position and orientation of the camera relative to the measurement object are likely to change.
  • Patent Document 1 discloses a technology for creating a random pattern using digital data so that it can be reproduced even if the random pattern used in DIC is damaged.
  • the technology in this document does not take into consideration reducing measurement errors due to distortion of digital images. Therefore, even if the technology in this document is applied, it is difficult to solve the above-mentioned problems.
  • the present invention was made in consideration of the above-mentioned problems, and aims to provide a high-resolution DIC that can further reduce measurement errors.
  • the present invention makes it possible to provide high-resolution DIC that can further reduce measurement errors.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a digital image correction system and a functional configuration of a digital image correction device.
  • 10A and 10B are diagrams showing an example of a process for estimating displacement and strain of a measurement object using DIC.
  • FIG. 10 is a diagram schematically illustrating a measurement area after a patterning process.
  • 4A and 4B are diagrams showing examples of correction figures.
  • 5A and 5B are diagrams showing examples of correction figures.
  • FIG. 10 is a diagram showing an example of a correction graphic;
  • FIG. 10 is a schematic diagram showing an example of a photographing process.
  • FIG. 2 is a cross-sectional view of a camera and a measurement object in a photographing process.
  • FIG. 10 is a plan view of a measurement area in which a plurality of correction figures are arranged.
  • FIG. 10 is a diagram showing an example of the positional relationship between a plurality of correction figures and a shooting range.
  • FIG. 10 is an explanatory diagram of a correction process.
  • FIG. 10 is a diagram showing an example in which one correction figure is formed by a plurality of correction figures;
  • FIG. 10 is a diagram showing another example in which one correction figure is formed by a plurality of correction figures.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a digital image correction device.
  • a computer executes a program using a processor (e.g., a CPU or a GPU), and performs processing defined by the program using storage resources (e.g., memory) and interface devices (e.g., communication ports). Therefore, the processor may be the entity that executes the program and performs the processing.
  • a processor e.g., a CPU or a GPU
  • storage resources e.g., memory
  • interface devices e.g., communication ports
  • the entity that executes a program and performs processing may be a controller, device, system, computer, or node that has a processor.
  • the entity that executes a program and performs processing may be a calculation unit, and may include a dedicated circuit that performs specific processing.
  • a dedicated circuit is, for example, an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), or a CPLD (Complex Programmable Logic Device).
  • a program may be installed on a computer from a program source.
  • the program source may be, for example, a program distribution server or a computer-readable storage medium. If the program source is a program distribution server, the program distribution server may include a processor and storage resources for storing the program to be distributed, and the processor of the program distribution server may distribute the program to be distributed to other computers.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • FIG. 1 shows an example of the schematic configuration of a digital image correction system 1000 according to this embodiment and the functional configuration of a digital image correction device 100.
  • the digital image correction system 1000 includes a digital image correction device 100 and a camera 200 that photographs an object to be measured, which are interconnected for mutual communication via a predetermined network N.
  • the network N may be, for example, the Internet, an intranet, a WAN (Wide Area Network), a mobile phone network, etc.
  • the digital image correction system 1000 is a system that uses digital images of the object to measure the distribution of displacement and strain of the object using digital image correlation (hereinafter sometimes referred to as "DIC").
  • DIC digital image correlation
  • Camera 200 captures digital images of a measurement object having a random pattern on its surface before and after applying a load to deform it (hereinafter sometimes referred to as "before and after deformation") and sends these images to digital image correction device 100. Note that if the entire measurement area of the measurement object is wider than the imaging range (angle of view) of camera 200, the measurement area is virtually divided, and either camera 200 or the measurement object is moved to capture digital images of each divided measurement area, thereby capturing a digital image of the entire measurement area.
  • the digital image correction device 100 performs image analysis using DIC with digital images before and after deformation, measures the displacement and strain of the object being measured, and outputs information that displays their distribution.
  • a correction figure is attached to the surface of the object to be measured along with a random pattern, and the digital image correction device 100 corrects distortion in the correction figure photographed together with the random pattern, thereby correcting distortion in the digital image caused by changes in the positional relationship and posture of the camera 200 relative to the object to be measured, and then performs image analysis using DIC using the corrected digital image.
  • the digital image correction device 100 can provide a high-resolution DIC that can further reduce measurement errors.
  • the camera 200 is an imaging device that captures a digital image of the measurement object.
  • the camera 200 captures a digital image of the measurement object (measurement area) including the random pattern and correction figures attached to the surface of the measurement object, and transmits the image to the digital image correction device 100.
  • the type of camera 200 is not particularly limited, and any known camera capable of capturing digital images used for image analysis by DIC (for example, a high-resolution camera capable of fully recognizing random patterns and correction figures in the captured digital images) can be used.
  • the digital image correction device 100 is a device that measures the displacement and strain of a measurement object based on image analysis by DIC using a digital image of the measurement object. Specifically, the digital image correction device 100 estimates the distribution of displacement and strain by performing image analysis of the relative movement amount of a random pattern before and after deformation of the measurement object.
  • the digital image correction device 100 corrects the digital image by correcting distortions in the correction figure photographed together with the random pattern prior to image analysis using DIC.
  • the digital image correction device 100 has various functional units. Specifically, the digital image correction device 100 has a processing unit 110, a storage unit 120, and a communication unit 130.
  • the processing unit 110 is a functional unit that performs processing executed by the digital image correction device 100. Specifically, the processing unit 110 has an image acquisition unit 111, an image correction unit 112, an image analysis unit 113, and an output information generation unit 114 as individual functional units that perform various processes.
  • the image acquisition unit 111 is a functional unit that acquires digital images of the measurement object from the camera 200. Specifically, the image acquisition unit 111 acquires digital images of the measurement object before and after deformation via the communication unit 130, and stores these in the storage unit 120 (captured image DB).
  • the image correction unit 112 is a functional unit that corrects distortion in digital images. Specifically, the image correction unit 112 performs homography transformation on the coordinates of the correction figure for each digital image taken of each measurement area of the measurement object before and after deformation, thereby correcting distortion in the digital image caused by changes in the positional relationship and posture of the camera 200 relative to the measurement object. Details of the correction method using the correction figure will be described later.
  • the image analysis unit 113 performs image analysis using DIC on the corrected digital image, and calculates the distribution of displacement and strain on the object being measured. Since DIC is a well-known technology, a detailed explanation will be omitted here, but the image analysis unit 113 identifies random patterns within a subset (a rectangular area of approximately several tens of pixels) identified from a digital image capturing the object in its pre-deformation state from a digital image capturing the object in its post-deformation state, and calculates the displacement and strain on the object being measured based on the amount of displacement (relative movement) and the coordinate changes of the surrounding random patterns.
  • a subset a rectangular area of approximately several tens of pixels
  • the output information generation unit 114 is a functional unit that generates a predetermined type of output information that visualizes the displacement and strain of the object being measured. For example, the output information generation unit 114 generates output information such as a contour diagram or color map that shows the displacement and strain of the object being measured. The output information generation unit 114 also displays the output information on a display device (e.g., a display) included in the digital image correction device 100 or on an external display device connected via the communication unit 130.
  • a display device e.g., a display
  • the memory unit 120 is a functional unit that stores various information. Specifically, the memory unit 120 has a captured image DB 121.
  • the captured image DB 121 is a database that stores digital images of the measurement object captured by the camera 200 before and after deformation.
  • the communication unit 130 is a functional unit that communicates information with external devices. Specifically, the communication unit 130 acquires a digital image of the object to be measured from the camera 200. The communication unit 130 also outputs output information generated by the output information generation unit 114 to an external display device, for example.
  • ⁇ Displacement and strain estimation processing using DIC> 2 is a diagram showing an example of a process for estimating displacement and strain using DIC.
  • the process for estimating (calculating) the displacement and strain of a measurement region is broadly divided into a patterning process P1, an imaging process P2, an analysis process P3, and a display process P4.
  • the imaging process P2 is performed by a camera 200, and the processes related to the analysis process P3 and the display process P4 are performed by a digital image correction device 100.
  • a random pattern of irregular spots is applied to the measurement area of the object to be measured.
  • a correction figure having a predetermined shape is applied to the measurement area of the object to be measured.
  • FIG. 3 is a diagram showing a schematic diagram of the measurement area after the patterning process P1 has been carried out.
  • the random pattern 1 is applied to a measurement area 4 that is wider than the imaging range (angle of view) 2 of the camera 200.
  • the correction figure 3 is applied in a size such that its outline (outline) fits within the imaging range 2.
  • Random pattern 1 is used to estimate the amount of movement of each coordinate on the surface of the object being measured before and after deformation using DIC. Random pattern 1 is an irregular spotted pattern, and can be the pattern of the material itself of the object being measured, or one that has been applied to the surface of the object being measured for another purpose, such as for design or surface treatment of the object being measured.
  • random pattern 1 other methods include spraying, brush application, random pattern stamping, stickers, and laser marking.
  • white or black paint is applied as a base, and then a different color from the base, either white or black, is applied on top as random pattern 1, and image analysis is performed using DIC based on the black and white brightness distribution.
  • the random pattern 1 is not limited to black and white or other visible colors, and may be displayed in, for example, the infrared or ultraviolet region, as long as image analysis using DIC is possible. In this case, there is an advantage that it is not necessary to remove the random pattern 1 from the object to be measured after processing.
  • the correction figure 3 is a figure of a predetermined shape, such as a polygon (e.g., a square or triangle). Unlike the random pattern 1, the correction figure 3 preferably has a shape that makes it easy to perform image analysis of each individual shape. Furthermore, multiple correction figures 3 may be arranged within the measurement area 4.
  • the correction figure 3 may also be applied to the surface of the object to be measured for other purposes, such as design, surface treatment of the object to be measured, or wiring for electrical circuits.
  • Other methods for applying the correction figure 3 include, for example, stamping, rollers, printers, and laser marking.
  • the correction figure 3 is not limited to visible colors, as long as its shape can be recognized by the camera 200, and may be displayed in, for example, the infrared or ultraviolet range. In this case, there is an advantage that the correction figure 3 does not need to be removed after processing.
  • Figures 4 to 6 each show an example of a correction figure.
  • a single correction figure 3 may be a figure in which multiple squares are arranged alternately within a rectangular frame.
  • a single correction figure 3 may be a figure in which smaller squares are arranged inside a larger outer square.
  • the correction figure 3 may be formed as a set of multiple correction figures 3 arranged to fit within the shooting range 2. Also, as shown in Figure 6, the correction figure 3 may be formed as a set of multiple correction figures 3 with different shapes.
  • the correction graphic 3 may also be a two-dimensional barcode such as a QR code (registered trademark) or a two-dimensional digital matrix code such as a DM code (registered trademark).
  • a QR code registered trademark
  • a DM code registered trademark
  • Figure 7 is a schematic diagram showing an example of the photographing process.
  • the camera 200 is positioned directly opposite the measurement area 4 of the object to be measured.
  • the figure shows a flat measurement object 5, but the measurement object 5 may have a more complex shape.
  • the camera 200 or the measurement object 5 is moved so that the correction figure 3 falls within the photographing range 2 of the camera 200, and then the camera 200 photographs a digital image of the measurement area 4 included in the photographing range 2.
  • Figure 8 is a schematic cross-sectional view of the camera 200 and the object to be measured during the photographing process. Note that while Figure 7 shows the state in which the object to be measured 5 is photographed with a single camera 200, as shown in Figure 8, the digital image correction system 1000 may also be configured using a pair of stereo cameras.
  • the distance between the camera 200 and the measurement area 4 is unlikely to change before and after deformation of the measurement object, using a single camera 200 has the advantage of being easier to measure.
  • a configuration using a stereo camera as shown in Figure 8 is effective.
  • the parallax between the two cameras 200 can be used to calculate the distance between the camera 200 and the measurement area 4. This allows the digital image correction device 100 to perform highly accurate corrections (e.g., enlargement or reduction) that take this distance into account during the analysis process.
  • a light 6 may be installed to illuminate the measurement area 4.
  • the light 6 be fixed to the same jig as the camera 200 so that the camera 200 and the light can move simultaneously in unison. This keeps the angle of the light 6 relative to the imaging range 2 constant, making it less likely that the way the light hits the object changes, and preventing the brightness distribution of the digital image acquired for DIC from changing due to the position of the light.
  • the photographing step P2 be performed in a darkroom or the like, or that a camera 200, light 6, and a cover 7 that covers at least the photographing range 2 above the measurement area 4 are installed, as shown in the figure.
  • a cover 7 reduces the influence of light from the sun or lighting fixtures, and suppresses changes in the brightness distribution of the digital image due to differences in location and time.
  • the cover 7 be fixed to the same jig as the camera 200 so that the camera 200 and cover 7 can move simultaneously in unison.
  • the cover 7 and the measurement object 5 be in contact with each other. This reduces the gap between the cover 7 and the measurement object 5 and suppresses light intrusion.
  • the contact surface between the cover 7 and the measurement object 5 be made of a cushioning material such as a soft brush or felt. This prevents the random pattern 1 and correction figure 3 from being damaged by contact with the cover 7.
  • Figure 9 is a plan view of a measurement area in which multiple correction figures are arranged.
  • the camera 200 or the measurement object 5 is moved to scan the measurement area 4.
  • the camera 200 determines whether the correction figure 3 has fallen into a specific position in the photographing range 2, for example, based on image analysis such as template matching or contour detection, and photographs the measurement area 4 included in the photographing range 2 when it is determined that it has fallen into place.
  • This makes it possible to photograph digital images of the measurement area 4, including the random pattern 1 and correction figures 3 before and after deformation, at the same position, even if the positional relationship changes due to the movement of the camera 200 or the measurement object 5.
  • Figure 10 shows an example of the positional relationship between multiple correction figures and the shooting range.
  • multiple correction figures 3 are added to the measurement area 4 at intervals narrower than the width of the shooting range 2.
  • parts of the shooting range 2 will overlap. This prevents gaps from occurring between the shooting ranges 2, making it effective when you want to comprehensively measure the measurement area 4.
  • the camera 200 transmits the captured digital image to the digital image correction device 100 via the network N.
  • the image acquisition unit 111 of the digital image correction device 100 acquires the digital image from the camera 200 via the communication unit 130 and stores it in the captured image DB 121.
  • the digital image correction device 100 corrects distortion of the digital image based on the correction figure 3. Furthermore, the digital image correction device 100 estimates displacement and distortion of the measurement object 5 by calculating the amount of relative movement of the random pattern 1 based on image analysis by DIC using the corrected digital image.
  • Figure 11 is an explanatory diagram of the correction process based on the correction figure.
  • Figure 11A shows the shooting range 21 and correction figure 31 of an undistorted digital image, i.e., a digital image captured with the camera 200 facing the measurement object 5 approximately directly.
  • Figure 11B shows the shooting range 22 and correction figure 32 of a distorted digital image, i.e., a digital image captured with the camera 200 not facing the measurement object 5 directly.
  • the two axes parallel to sides 10 and 11 defining the capture range 21 are defined in advance as x and y. Also, assume that the contour of the distortion-free correction figure 31 is rectangular ( Figure 11A), and that the camera 200 is not directly facing the measurement area 4, resulting in a capture of a trapezoidal correction figure 32 ( Figure 11B).
  • the trapezoidal correction figure 32 is transformed so that it matches the contour (rectangle) of the distortion-free correction figure 31, the influence of the camera 200's orientation can be corrected.
  • a transformation method is homography transformation.
  • a, b, c, d, e, f, g, and h represent the components of the homography transformation matrix.
  • the x and y coordinates of the four vertices of the quadrangle (trapezoidal correction figure 32 before transformation) and the x and y coordinates of the four vertices of the quadrangle (rectangular correction figure 31 after transformation) can be determined based on the pixel positions of the digital image. Therefore, eight equations can be formulated to determine the homography transformation matrix.
  • the dimensions of the distortion-free quadrangle are predetermined and known, using this known dimensional information assigned to the surface of the measurement object 5 as coordinate information after the homography transformation can further improve the accuracy of the transformation, i.e., the correction accuracy of the digital image itself.
  • this homography transformation can be applied to quadrangles of any shape, not just trapezoids and rectangles.
  • homography transformation can also be applied to polygons of any shape (such as triangles) in a similar manner.
  • the coordinates of each pixel in the distorted capture range 22 ( Figure 11B), which is captured as a trapezoid, can be converted to the coordinates of the undistorted rectangular capture range 21, thereby correcting the digital image to reduce the effects of changes in the camera 200's posture.
  • This correction process is performed by the image correction unit 112. Specifically, the image correction unit 112 performs the correction process on all digital images stored in the captured image DB 121 that capture the measurement area 4 before and after deformation of the measurement object 5.
  • FIG. 12 is a diagram showing an example in which one correction figure is formed from multiple correction figures. As shown, one rectangle and three triangles, which are individual correction figures 3, are located at the four corners of the shooting range 2, and a single virtual correction figure 52 is formed by connecting the vertices 51 of each correction figure 3. In this case, the image correction unit 112 applies homography transformation to the four vertices 51 of the virtual correction figure 52, thereby correcting the distorted digital image in the same way as above.
  • Figure 13 shows another example in which a single correction figure is formed from multiple correction figures.
  • correction figures 3 of the shape shown in Figure 4B are located at the four corners of the shooting range 2.
  • correction vertices 51 are defined in advance for the inner quadrangles of each correction figure 3, and a single virtual correction figure 52 is formed by connecting the correction vertices 51.
  • the image correction unit 112 also applies homography transformation to the four vertices 51 of the virtual correction figure 52, thereby correcting the distorted digital image in the same way as above.
  • the digital image correction device 100 can achieve correction with higher accuracy. This is because the greater the distance from the center of the imaging range 2 to the correction figure 3, the more error there is in applying the same homography transformation matrix to both the correction figure 3 and the imaging range 2.
  • one correction figure 32 is positioned away from the center of the imaging range 22, so applying the homography transformation matrix calculated using this correction figure 32 to the imaging range 22 will result in a large error.
  • the center of the imaging range 2 can be placed inside the virtual correction figure 52, thereby narrowing the distance between them. Therefore, the digital image correction device 100 can improve the accuracy of digital image correction by calculating the homography transformation matrix using this virtual correction figure 52.
  • the image analysis unit 113 uses the corrected digital image to estimate (calculate) the displacement and strain of the measurement object 5 based on image analysis by DIC.
  • ⁇ Display process P4>> In the display step P4, output information for displaying the displacement and strain of the measurement object 5 estimated in the analysis step P3 is generated and displayed on a predetermined device. Specifically, the output information generation unit 114 generates output information that visualizes the displacement and strain of the measurement object 5, such as a contour diagram or a color map diagram. The output information generation unit 114 also displays the output information on, for example, a display device included in the digital image correction device 100 or a display device of an external device connected via the communication unit 130.
  • DIC digital image correlation
  • calibration is sometimes performed during the imaging process. For example, when two or more cameras are used in the imaging process, it is known that it is possible to estimate the position and orientation of the object to be measured relative to the camera based on an image of a checkerboard with a black and white checkerboard pattern and calibration using the image information.
  • measurement errors can occur during calibration, or due to changes in the measurement environment after calibration.
  • Another issue is that the above-mentioned general calibration alone is prone to errors that cause the object to move away from the camera in the depth direction, for example.
  • the present invention achieves more accurate correction of digital images by using known dimensional information of the measurement object 5.
  • This known dimensional information of the measurement object 5 refers to the dimensional information of the correction figure 3 attached to the surface of the measurement area 4, and since the dimensions of this correction figure 3 are known (because a figure of a predetermined shape and size is attached to the surface of the measurement object 5), using this dimensional information for correction (the transformation matrix used during correction) improves the correction accuracy of digital images.
  • DIC is a technology for measuring the displacement and strain of an object being measured, and when the camera is moved, more accurate estimation than before is required.
  • the digital image device 100 can meet this requirement by achieving more accurate correction of digital images based on the correction described above. Furthermore, the technology related to digital image correction of the present invention does not negate the possibility of combining it with conventional general calibration, and the digital image correction device 100 may perform both the correction process described above and conventional calibration.
  • Figure 14 shows an example of the hardware configuration of a digital image correction device.
  • the digital image correction device 100 has an input device 310, a display device 320, a processing device 330, a main memory device 340, an auxiliary memory device 350, a communication device 360, and a bus 370 that electrically interconnects these devices.
  • the input device 310 is, for example, an input device such as a touch panel, keyboard, or mouse.
  • the display device 320 is a display device such as a liquid crystal display or organic display.
  • the processing device 330 is, for example, a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the main memory device 340 is a memory device (memory resource) such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the digital image correction device 100 has at least one processor and memory resource.
  • the auxiliary storage device 350 is a non-volatile storage device capable of storing digital information, such as a hard disk drive, solid state drive (SSD), or flash memory.
  • digital information such as a hard disk drive, solid state drive (SSD), or flash memory.
  • Communication device 360 is a wired communication device that performs wired communication via a network cable, or a wireless communication device that performs wireless communication via an antenna.
  • the storage unit 120 is realized by a main storage device 340, an auxiliary storage device 350, or a combination of these.
  • the communication unit 130 is realized by a communication device 360.
  • the above-mentioned configurations, functions, processing units, and processing means of the digital image correction device may be realized in part or in whole in hardware, for example by designing them as integrated circuits.
  • the above-mentioned configurations and functions may also be realized in software by a processor interpreting and executing programs that realize each function.
  • Information such as programs, tables, and files that realize each function can be stored in storage devices such as memory, hard disks, and SSDs, or on recording media such as IC cards, SD cards, and DVDs.
  • the present invention is not limited to the above-described embodiments and modifications, but includes various modifications within the scope of the same technical concept.
  • the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those including all of the described configurations.
  • it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • control lines and information lines are those that are considered necessary for the explanation, and do not necessarily represent all control lines and information lines in the product. In reality, it is safe to assume that almost all components are interconnected.
  • 1000 Digital image correction system
  • 100 Digital image correction device
  • 110 Processing unit
  • 111 Image acquisition unit
  • 112 Image correction unit
  • 113 Image analysis unit
  • 114 Output information generation unit
  • 120 Memory unit
  • 121 Captured image DB
  • 130 Communication unit
  • 310 Input device
  • 320 Display device
  • 330 Processing device
  • 340 Main memory device
  • 350 Auxiliary memory device
  • 360 Communication device
  • 370 Bus
  • 200 Camera
  • N Network

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

測定誤差をより低減できる高分解能なＤＩＣを提供することができる。　ランダムパターンと所定形状の補正用図形とが含まれる画角の撮影範囲で測定対象物の表面を撮影したデジタル画像を取得する画像取得部と、前記デジタル画像において、歪みの有る前記補正用図形を歪みの無い前記所定形状の補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する画像補正部と、補正後の前記デジタル画像を用いた画像解析に基づき、前記測定対象物の変位またはひずみを推定する画像解析部と、を備える。

Description

デジタル画像補正装置、デジタル画像補正方法およびプログラム
　本発明は、デジタル画像補正装置、デジタル画像補正方法およびプログラムに関する。本発明は2024年2月16日に出願された日本国特許の出願番号2024-021950の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
　構造物などの変位やひずみを計測する技術として、デジタル画像相関法（Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｃｏｒｒｅｌａｔｉｏｎ）が知られている。ＤＩＣでは、測定対象物の測定したい領域の表面に不規則な斑点模様のランダムパターンを付与し、測定対象物に荷重をかけて変形させ、当該変形の前後において変化するランダムパターンの形状を撮影し、相対移動量を画像解析することで、変位やひずみの分布を推定する。
　なお、特許文献１には、ＤＩＣに関する技術が開示されている。具体的には、特許文献１には、「デジタル画像相関法における画像の取得に用いられる変位計測用シートである。この変位計測用シートは、有限形状の可撓性を有するシートで構成され、前記変位計測用シートの計測視野範囲を縦方向にｎ個、横方向にｍ個に分割し、分割された各領域に、形状が任意であって背景色とは異なる色彩のパターンをデジタル画像相関法で計測するためのデジタルデータを用いて形成し、該パターンを前記シート内に線対称や点対称にならないように配置している」と記載されている。
特開２０２３－７１１９３号公報
　ＤＩＣでは画像解析を用いるため、変位やひずみの測定分解能は、デジタル画像の解像度に依存する。すなわち、より多くの画素数のデジタル画像で測定領域を分析できれば測定分解能は向上する。よって、測定分解能の上限は、使用するカメラの解像度の上限に律速される。一方で、１つの画像での測定領域を広範囲化するほど、単位面積当たりの画素数が減少するため、測定分解能は低下する。
　そのため、ＤＩＣで広範囲かつ高分解能に測定する場合、測定領域を１つの画像として撮影するのではなく、複数に分割することが有効である。この場合、例えば、測定対象物またはカメラを動かして、測定領域を変更（走査／スキャン）しながら撮影する手法が考えられる。しかしながら、この方法では、測定対象物の変形前後の撮影でカメラか測定対象物の一方を動かすことになるため、測定対象物に対するカメラの位置関係や姿勢が変化しやすくなる。
　カメラと測定対象物との位置関係や姿勢が変化することで、ＤＩＣによる画像解析において、測定対象物とカメラとが正対していない状態で撮影された場合に生じるデジタル画像の歪みを測定対象物のひずみや変位によるものと誤認識する懸念があり、これが測定誤差の要因になる、という課題がある。
　なお、特許文献１には、ＤＩＣに用いるランダムパターンが破損した場合でもそれを再現できるように、ランダムパターンをデジタルデータで作成する技術が開示されている。しかしながら、同文献の技術では、デジタル画像の歪みに基づく測定誤差の低減については考慮されていない。そのため、同文献の技術を適用しても、上記課題を解決することは難しい。
　本発明は、上記課題に鑑みてなされたものであり、測定誤差をより低減できる高分解能なＤＩＣの提供を目的とする。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係るデジタル画像補正装置は、ランダムパターンと所定形状の補正用図形とが含まれる画角の撮影範囲で測定対象物の表面を撮影したデジタル画像を取得する画像取得部と、前記デジタル画像において、歪みの有る前記補正用図形を歪みの無い前記所定形状の補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する画像補正部と、補正後の前記デジタル画像を用いた画像解析に基づき、前記測定対象物の変位またはひずみを推定する画像解析部と、を備える。
　本発明によれば、測定誤差をより低減できる高分解能なＤＩＣを提供することができる。
　なお、上記以外の課題、構成および効果等は、以下の実施形態の説明により明らかにされる。
デジタル画像補正システムの概略構成およびデジタル画像補正装置の機能構成の一例を示した図である。 測定対象物に関するＤＩＣによる変位、ひずみの推定処理の一例を示した図である。 パターニング工程後の測定領域を模式的に示した図である。 図４Ａおよび図４Ｂは、補正用図形の一例を示した図である。 図５Ａおよび図５Ｂは、補正用図形の一例を示した図である。 補正用図形の一例を示した図である。 撮影工程の一例を示した模式図である。 撮影工程におけるカメラおよび測定対象物の断面模式図である。 補正用図形を複数個配置した測定領域の平面図である。 複数個配置された補正用図形と撮影範囲との位置関係の一例を示す図である。 補正処理の説明図である。 複数個の補正用図形により１つの補正用図形が形成されている例を示した図である。 複数個の補正用図形により１つの補正用図形が形成されている他の例を示した図である。 デジタル画像補正装置のハードウェア構成の一例を示した図である。
　以下の実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。また、特に限定しない限り、各構成要素は、単数でも複数でも構わない。
　また、図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
　また、各種情報の例として、「テーブル」、「リスト」、「キュー」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「ＸＸテーブル」、「ＸＸリスト」、「ＸＸキュー」等の各種情報は、「ＸＸ情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
　また、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
　また、実施形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。
　同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）等である。
　プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　以下、図面を参照して本発明の実施形態について説明する。
　図１は、本実施形態に係るデジタル画像補正システム１０００の概略構成およびデジタル画像補正装置１００の機能構成の一例を示した図である。図示するように、デジタル画像補正システム１０００は、デジタル画像補正装置１００と、測定対象物を撮影するカメラ２００と、を有し、これらは所定のネットワークＮを介して相互通信可能に接続されている。なお、ネットワークＮは、例えば、インターネット、イントラネット、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、携帯電話網等である。
　デジタル画像補正システム１０００は、測定対象物を撮影したデジタル画像を用いて、デジタル画像相関法（Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｃｏｒｒｅｌａｔｉｏｎ：以下、「ＤＩＣ」という場合がある）により、測定対象物の変位やひずみの分布を測定するシステムである。
　カメラ２００は、表面にランダムパターンが付与されている測定対象物に荷重をかけて変形させる前と後（以下、「変形前後」という場合がある）のデジタル画像を撮影し、これをデジタル画像補正装置１００に送信する。なお、測定対象物の測定領域の全体がカメラ２００の撮影範囲（画角）よりも広範囲な場合は、測定領域を仮想的に分割し、カメラ２００または測定対象物のいずれかを移動させて、分割した各測定領域のデジタル画像を撮影することで、測定領域の全体のデジタル画像が撮影される。
　デジタル画像補正装置１００は、変形前後のデジタル画像を用いたＤＩＣによる画像解析を行い、測定対象物の変位やひずみ測定し、その分布を表示する出力情報を出力する。
　なお、測定対象物の表面には、ランダムパターンと共に補正用図形が付与されており、デジタル画像補正装置１００は、ランダムパターンと共に撮影された当該補正用図形の歪みを補正することで、測定対象物に対するカメラ２００の位置関係や姿勢の変化を起因とするデジタル画像の歪みを補正し、補正後のデジタル画像を用いてＤＩＣによる画像解析を行う。
　これにより、デジタル画像補正装置１００は、測定誤差をより低減できる高分解能なＤＩＣを提供することができる。
　＜カメラ２００＞
　カメラ２００は、測定対象物のデジタル画像を撮影する撮像装置である。カメラ２００は、測定対象物の表面に付与されているランダムパターンや補正用図形を含む測定対象物（測定領域）のデジタル画像を撮影し、これをデジタル画像補正装置１００に送信する。
　なお、カメラ２００の種類は特に限定されるものではなく、ＤＩＣによる画像解析に用いられるデジタル画像を撮影可能な公知のカメラ（例えば、撮影されたデジタル画像のランダムパターンおよび補正用図形を十分に認識することが可能な解像度の高いカメラ）が採用されれば良い。
　＜デジタル画像補正装置１００＞
　デジタル画像補正装置１００は、測定対象物を撮影したデジタル画像を用いて、ＤＩＣによる画像解析に基づき、測定対象物の変位やひずみを計測する装置である。具体的には、デジタル画像補正装置１００は、測定対象物の変形前後のランダムパターンの相対移動量を画像解析することで、変位やひずみの分布を推定する。
　また、デジタル画像補正装置１００は、ＤＩＣによる画像解析に先立ち、ランダムパターンと共に撮影された補正用図形の歪みを補正することで、デジタル画像を補正する。
　図１に示すように、デジタル画像補正装置１００は、各種の機能部を有している。具体的には、デジタル画像補正装置１００は、処理部１１０と、記憶部１２０と、通信部１３０と、を有している。
　処理部１１０は、デジタル画像補正装置１００で実行される処理を行う機能部である。具体的には、処理部１１０は、各種の処理を実行する個別の機能部として、画像取得部１１１と、画像補正部１１２と、画像解析部１１３と、出力情報生成部１１４と、を有している。
　画像取得部１１１は、測定対象物を撮影したデジタル画像をカメラ２００から取得する機能部である。具体的には、画像取得部１１１は、通信部１３０を介して、変形前後の測定対象物を撮影したデジタル画像を取得し、これを記憶部１２０（撮影画像ＤＢ）に記憶する。
　画像補正部１１２は、デジタル画像の歪みを補正する機能部である。具体的には、画像補正部１１２は、測定対象物の各測定領域を撮影した変形前後の各デジタル画像について、補正用図形の座標をホモグラフィ変換することで、測定対象物に対するカメラ２００の位置関係や姿勢の変化を起因とするデジタル画像の歪みを補正する。なお、補正用図形を用いた補正方法の詳細については後述する。
　画像解析部１１３は、補正後のデジタル画像を用いてＤＩＣによる画像解析を行い、測定対象物の変位やひずみの分布を算出する。なお、ＤＩＣは公知技術のため、ここでは詳細な説明を省略するが、画像解析部１１３は、測定対象物の変形前の状態を撮影したデジタル画像から特定されるサブセット（数十画素程度の矩形領域）内のランダムパターンを、変形後の状態を撮影したデジタル画像から特定し、その変位量（相対移動量）や周囲のランダムパターンの座標変化に基づいて、測定対象物の変位やひずみを算出する。
　出力情報生成部１１４は、測定対象物の変位やひずみを可視化した所定種類の出力情報を生成する機能部である。例えば、出力情報生成部１１４は、測定対象物の変位やひずみを示すコンター図やカラーマップといった種類の出力情報を生成する。また、出力情報生成部１１４は、デジタル画像補正装置１００が備える表示装置（例えば、ディスプレイなど）あるいは通信部１３０を介して接続される外部の表示装置に出力情報を表示させる。
　次に、記憶部１２０について説明する。記憶部１２０は、様々な情報を記憶する機能部である。具体的には、記憶部１２０は、撮影画像ＤＢ１２１を有している。なお、撮影画像ＤＢ１２１は、カメラ２００で撮影された測定対象物の変形前後のデジタル画像を格納するデータベースである。
　次に、通信部１３０について説明する。通信部１３０は、外部の装置との間で情報通信を行う機能部である。具体的には、通信部１３０は、測定対象物を撮影したデジタル画像をカメラ２００から取得する。また、通信部１３０は、例えば、出力情報生成部１１４により生成された出力情報を外部の表示装置に出力する。
　以上、デジタル画像補正装置１００の機能構成について説明した。
　＜ＤＩＣによる変位、ひずみの推定処理＞
　図２は、ＤＩＣによる変位、ひずみの推定処理の一例を示した図である。図示するように、測定領域の変位やひずみを推定（算出）する処理は、パターニング工程Ｐ１と、撮影工程Ｐ２と、解析工程Ｐ３と、表示工程Ｐ４と、に大別される。なお、撮影工程Ｐ２はカメラ２００により実行され、解析工程Ｐ３および表示工程Ｐ４に関する処理は、デジタル画像補正装置１００で実行される。
　＜＜パターニング工程Ｐ１＞＞
　パターニング工程Ｐ１では、測定対象物の測定領域に不規則な斑点模様のランダムパターンが付与される。また、パターニング工程Ｐ１では、ランダムパターンとは異なり、予め意図した形状の補正用図形が測定対象物の測定領域に付与される。
　図３は、パターニング工程Ｐ１が実施された後の測定領域を模式的に示した図である。図示する例では、ランダムパターン１は、カメラ２００の撮影範囲（画角）２よりも広範な測定領域４上に付与されている。また、補正用図形３は、その外形（外郭）が撮影範囲２に収まる大きさで付与されている。
　ランダムパターン１は、変形前後で移動する測定対象物表面の各座標の移動量をＤＩＣで推定するために用いられる。ランダムパターン１は、不規則な斑点模様であれば、測定対象物の材質そのものの模様や、意匠性や測定対象物の表面処理など、別の目的で測定対象物の表面に付与されたものでも良い。
　なお、上記以外にランダムパターン１を付与する方法としては、例えば、スプレー散布やブラシでの塗布、ランダム模様のスタンプ、シールおよびレーザーマーキングなどが挙げられる。通常、白色または黒色の塗料を下地として付与し、その上から、白色または黒色のうち、下地と異なる色をランダムパターン１として付与し、白黒の輝度分布をもとにＤＩＣによる画像分析が行われる。
　なお、ランダムパターン１は、ＤＩＣによる画像分析が可能であれば、白黒やその他の可視可能な色彩に限定されず、例えば、赤外領域や紫外領域で示されても良い。この場合、処理後に測定対象物からランダムパターン１を除去する必要がない等の利点がある。
　また、図示するように、補正用図形３には、多角形（例えば、四角形や三角形）などで構成された、予め意図した形状の図形が用いられている。補正用図形３は、ランダムパターン１とは異なり、個々の形状を画像解析しやすい形状が好ましい。また、補正用図形３は、測定領域４内に複数個配置されていても良い。
　また、補正用図形３は、意匠性、測定対象物の表面処理、電気回路用の配線など、別の目的で測定対象物の表面に付与されたものでも良い。なお、これら以外に補正用図形３を付与する方法としては、例えば、スタンプやローラー、プリンタおよびレーザーマーキングなどが挙げられる。
　また、補正用図形３は、カメラ２００での形状認識が可能であれば、可視可能な色彩に限定されず、例えば、赤外領域や紫外領域で示されても良い。この場合、処理後に補正用図形３を除去する必要がない等の利点がある。
　図４～６は各々、補正用図形の一例を示した図である。例えば、図４Ａに示すように、補正用図形３は、矩形の枠内に複数の四角形が交互に並んだ図形を１つの補正用図形３としても良い。また、図４Ｂに示すように、補正用図形３は、大きな外郭の四角形の内側に小さいサイズの四角形を配置した図形を１つの補正用図形３としても良い。
　また、図５Ａや図５Ｂに示すように、補正用図形３は、撮影範囲２の中に収まるように配置された複数の補正用図形３が１組になって形成されたものでも良い。また、図６に示すように、補正用図形３は、形状の異なる複数の補正用図形３が１組になって形成されたものでも良い。
　また、図示しないが、補正用図形３は、ＱＲコード（登録商標）のような二次元バーコードや、ＤＭコード（登録商標）などの二次元デジタルマトリクスコードであっても良い。
　＜＜撮影工程Ｐ２＞＞
　撮影工程Ｐ２では、測定対象物の変形前後におけるランダムパターン１と補正用図形３を含むデジタル画像をカメラ２００で撮影する。
　図７は、撮影工程の一例を示した模式図である。図示するように、撮影工程Ｐ２では、測定対象物の測定領域４に正対する位置にカメラ２００が配置されている。なお、図中では便宜的に平板状の測定対象物５を示しているが、測定対象物５はより複雑な形状のものでも良い。撮影工程Ｐ２では、補正用図形３がカメラ２００の撮影範囲２に収まるようにカメラ２００または測定対象物５を移動させ、その後に、カメラ２００で撮影範囲２に含まれる測定領域４についてデジタル画像を撮影する。
　図８は、撮影工程におけるカメラ２００および測定対象物の断面模式図である。なお、図７では、１台のカメラ２００で測定対象物５を撮影する様子を示したが、図８に示すように、デジタル画像補正システム１０００は、２台１組のステレオカメラを用いた構成であっても良い。
　カメラ２００と測定領域４との距離が、測定対象物の変形前後によって変化しにくい場合には、カメラ２００は、１台の方がより簡便に測定できる利点がある。これに対して、カメラ２００と測定領域４との距離の変化を考慮した方が良い場合には、図８に示すようなステレオカメラを用いた構成が有効である。ステレオカメラを用いた場合、２台のカメラ２００の視差を利用してカメラ２００と測定領域４との距離を計算することができる。これにより、デジタル画像補正装置１００は、解析工程において、当該距離を考慮した精度の高い補正（例えば、拡大や縮小など）を行うことができる。
　また、図示するように、測定領域４を照らすために、ライト６が設置されていても良い。なお、撮影範囲２を変更する際にカメラ２００を移動させる場合、ライト６は、カメラ２００と同一の治具に固定し、カメラ２００とライトが連動して同時に移動できることが好ましい。これにより、撮影範囲２に対するライト６の角度が一定に保たれるため、光の当たり方が変化しにくくなり、ＤＩＣ用に取得したデジタル画像の輝度分布がライトの位置の影響で変化することを抑制することができる。
　さらに、撮影工程Ｐ２は、暗室等の中で測定するか、あるいは、図示するようなカメラ２００、ライト６および少なくとも測定領域４上の撮影範囲２を覆うカバー７が設置されていることが好ましい。このようなカバー７により、太陽や照明器具などの光の影響を低減でき、場所や時間の違いによるデジタル画像の輝度分布の変化を抑制することができる。なお、カメラ２００を移動させる場合、カバー７は、カメラ２００と同一の治具に固定し、カメラ２００とカバー７が連動して同時に移動できることが好ましい。また、カバー７と測定対象物５とは相互に接触していることが好ましい。これにより、カバー７と測定対象物５の間の隙間が減り、光の侵入を抑制することができる。さらに、カバー７と測定対象物５との接触面が軟らかいブラシやフェルトなどのクッション素材になっていることが好ましい。これにより、カバー７との接触でランダムパターン１や補正用図形３が傷付いてしまうことを防止することができる。
　図９は、補正用図形を複数個配置した測定領域の平面図である。撮影工程Ｐ２では、カメラ２００または測定対象物５を移動させて測定領域４を走査（スキャン）する。カメラ２００は、例えば、テンプレートマッチングや輪郭検出などの画像解析に基づいて、補正用図形３が撮影範囲２の特定の位置に収まったか否かを判定し、収まったと判定したタイミングで撮影範囲２に含まれる測定領域４を撮影する。これにより、カメラ２００または測定対象物５を移動させることで位置関係が変化した場合でも、再度、同じ位置で、変形前後のランダムパターン１および補正用図形３を含む測定領域４のデジタル画像を撮影することができる。
　図１０は、複数個配置された補正用図形と撮影範囲との位置関係の一例を示す図である。図示するように、測定領域４には、撮影範囲２の幅よりも狭い間隔となるように複数個の補正用図形３が付与されている。このような間隔で補正用図形３を配置することで、撮影範囲２を変更する際にカメラ２００または測定対象物５を移動させた場合、撮影範囲２の一部が重なる。これにより、撮影範囲２同士の間に隙間が生じないため、測定領域４を網羅的に測定したい場合に有効となる。
　なお、カメラ２００は、ネットワークＮを介して、撮影したデジタル画像をデジタル画像補正装置１００に送信する。デジタル画像補正装置１００の画像取得部１１１は、通信部１３０を介して、カメラ２００からデジタル画像を取得すると、これを撮影画像ＤＢ１２１に格納する。
　＜＜解析工程Ｐ３＞＞
　解析工程Ｐ３では、デジタル画像補正装置１００は、補正用図形３に基づきデジタル画像の歪みを補正する。また、デジタル画像補正装置１００は、補正後のデジタル画像を用いたＤＩＣによる画像解析に基づき、ランダムパターン１の相対移動量を算出することで、測定対象物５の変位やひずみの推定を行う。
　図１１は、補正用図形に基づく補正処理の説明図である。なお、図１１Ａは、歪みの無いデジタル画像すなわち測定対象物５に対してカメラ２００が略正対した状態で撮影されたデジタル画像の撮影範囲２１と補正用図形３１を示している。また、図１１Ｂは、歪みの有るデジタル画像すなわち測定対象物５に対してカメラ２００が正対していない状態で撮影されたデジタル画像の撮影範囲２２と補正用図形３２を示している。
　なお、歪みの無いデジタル画像（図１１Ａ）において、撮影範囲２１を規定している辺１０と１１の各々に平行な２軸を予めｘ、ｙと定義する。また、歪みの無い補正用図形３１の外形は長方形であり（図１１Ａ）、測定領域４に対してカメラ２００が正対していないことにより、台形形状の補正用図形３２が撮影された場合（図１１Ｂ）を仮定する。
　この場合、台形形状の補正用図形３２を、歪みの無い補正用図形３１の外形（四角形）と一致するように変換すれば、カメラ２００の姿勢による影響分を補正することができる。なお、変換方法の一例としては、ホモグラフィ変換が挙げられる。
　ホモグラフィ変換を用いた場合、歪みの有る任意の四角形（補正用図形３２に相当）の座標（ｘ，ｙ）から歪みの無い任意の四角形（補正用図形３１に相当）の座標（ｘ′，ｙ′）への変換は、以下の式（１）、（２）に基づき算出できる。
　　ｘ′＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
　　ｙ′＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）
　ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈは、ホモグラフィ変換行列の各成分を示している。これらａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈという８個の未知数に対して、四角形（変換前の台形形状の補正用図形３２）の４頂点のｘ，ｙ座標と、四角形（変換後の長方形の補正用図形３１）の４頂点のｘ，ｙ座標と、がデジタル画像の画素の位置に基づき特定できるため、８つの式を立てることができ、ホモグラフィ変換行列が求まる。特に、歪みの無い四角形（補正用図形３１）の寸法は予め決まっている既知の情報であるため、測定対象物５の表面に付与されている当該既知の寸法情報をホモグラフィ変換後の座標情報として用いることで、当該変換の精度すなわちデジタル画像そのものの補正精度をより高めることができる。なお、このようなホモグラフィ変換は、台形や長方形に限らず、任意形状の四角形に適用することができる。また、上記のホモグラフィ変換に関する説明は四角形の補正用図形を仮定したが、任意形状の多角形（例えば、三角形など）についても同様の方法でホモグラフィ変換を適用することができる。
　このように求めたホモグラフィ変換行列を用いて、台形形状として撮影されている歪みの有る撮影範囲２２（図１１Ｂ）の各画素の座標を、歪みの無い長方形の撮影範囲２１の座標に変換することで、カメラ２００の姿勢の変化による影響を低減したデジタル画像に補正することができる。なお、このような補正処理は、画像補正部１１２により実行される。具体的には、画像補正部１１２は、撮影画像ＤＢ１２１に格納されているデジタル画像であって、測定対象物５の変形前後における測定領域４を撮影した全てのデジタル画像について補正処理を実行する。
　次に、複数個の補正用図形３が組み合わせられて１つの補正用図形が形成されている場合の補正方法について、図１２、図１３を用いて説明する。
　図１２は、複数個の補正用図形により１つの補正用図形が形成されている例を示した図である。図示するように、撮影範囲２の四隅には、個々の補正用図形３である１つの四角形と、３つの三角形とが位置しており、各々の補正用図形３の頂点５１同士を結ぶことで仮想的な１つの補正用図形５２が形成されている。この場合、画像補正部１１２は、仮想的な補正用図形５２の４頂点５１に対してホモグラフィ変換を適用することで、上記と同様に歪みの有るデジタル画像を補正する。
　図１３は、複数個の補正用図形により１つの補正用図形が形成されている他の例を示した図である。図示するように、撮影範囲２の四隅には、図４Ｂに示した形状の補正用図形３が位置している。この場合、各補正用図形３の内側の四角形に対して補正用頂点５１を予め定義し、各々の補正用頂点５１同士を結ぶことで仮想的な１つの補正用図形５２が形成される。この場合も、画像補正部１１２は、仮想的な補正用図形５２の４頂点５１に対してホモグラフィ変換を適用することで、上記と同様に歪みの有るデジタル画像を補正する。
　このように、複数個の補正用図形３を組み合わせた仮想的な１つの補正用図形５２を用いてデジタル画像を補正することで、デジタル画像補正装置１００は、より高い精度の補正を実現することができる。これは、撮影範囲２の中央から補正用図形３までの距離が離れるほど、補正用図形３と撮影範囲２の両方に同一のホモグラフィ変換行列を適用することが誤差要因になるからである。
　例えば、図１１に示す例では、撮影範囲２２の中央から離れた位置に１つの補正用図形３２が配置されているため、この補正用図形３２を用いて求めたホモグラフィ変換行列を撮影範囲２２に適用すると、誤差が大きくなってしまう。これに対し、複数個の補正用図形３を組み合わせた仮想的な１つの補正用図形５２を用いた場合、撮影範囲２の中央を仮想的な補正用図形５２の内側に配置できるため、両者の距離を狭めることができる。そのため、デジタル画像補正装置１００は、当該仮想的な補正用図形５２を用いてホモグラフィ変換行列を求めることで、デジタル画像の補正の精度を高めることができる。
　なお、画像解析部１１３は、補正後のデジタル画像を用いて、ＤＩＣによる画像解析に基づき、測定対象物５の変位やひずみを推定（算出）する。
　＜＜表示工程Ｐ４＞＞
　表示工程Ｐ４では、解析工程Ｐ３で推定された測定対象物５の変位やひずみを表示するための出力情報が生成され、所定の装置に表示される。具体的には、出力情報生成部１１４は、例えば、コンター図やカラーマップ図のような測定対象物５の変位やひずみを可視化した出力情報を生成する。また、出力情報生成部１１４は、例えば、デジタル画像補正装置１００が備える表示装置あるいは通信部１３０を介して接続される外部装置の表示装置に出力情報を表示させる。
　以上、ＤＩＣによる測定対象物５の変位、ひずみの推定処理について説明した。
　このようなデジタル画像補正装置によれば、測定誤差をより低減できる高分解能なＤＩＣを提供することができる。特に、デジタル画像補正装置は、ランダムパターンと共に測定対象物に付与されている補正用図形を用いて、ＤＩＣによる画像解析に用いられるデジタル画像を予め補正する。これにより、デジタル画像補正装置は、カメラと測定対象物との位置関係や姿勢の変化に起因する歪みが補正されている補正済みのデジタル画像を用いてＤＩＣによる画像解析を行うことができる。そのため、デジタル画像補正装置は、測定対象物の変位やひずみについて、高分解能かつ精度良く推定することができる。
　なお、ＤＩＣ（デジタル画像相関法）による画像解析では、撮影工程でキャリブレーション（校正）が行われることがある。例えば、カメラを２台以上用いた場合の撮影工程において、白黒の市松模様が描かれているチェッカーボードを撮影し、その画像情報を用いたキャリブレーションに基づき、カメラに対する測定対象物の位置や姿勢を推定できることが知られている。しかしながら、キャリブレーション時に測定誤差が生じる場合や、キャリブレーション後の測定環境の変化等によっても測定誤差が生じてしまう。また、上記の一般的なキャリブレーションのみでは、例えば、奥行方向に遠ざかる誤差が生じやすい、という課題もある。
　そのため、本発明では、測定対象物５の既知の寸法情報を用いることで、デジタル画像のより正確な補正を実現している。この測定対象物５の既知の寸法情報とは、測定領域４の表面に付与されている補正用図形３の寸法情報のことであり、当該補正用図形３の寸法は既知（予め決まっている形状およびサイズの図形を測定対象物５の表面に付与しているため）であるため、この寸法情報を補正（補正時の変換行列）に用いることで、デジタル画像の補正精度の向上を実現している。
　ＤＩＣは、測定対象物の変位やひずみの計測技術であり、かつ、カメラを動かすとなると、従来以上に正確な推定が要請される。デジタル画像装置１００は、前述の補正に基づき、より精度の高いデジタル画像の補正を実現することで、その要請を満たすことができる。また、本発明のデジタル画像の補正に関する技術は、従来の一般的なキャリブレーションとの組み合わせを否定するものではなく、デジタル画像補正装置１００は、前述の補正処理と従来のキャリブレーションとの両方を実行しても良い。
　＜デジタル画像補正装置１００のハードウェア構成＞
　図１４は、デジタル画像補正装置のハードウェア構成の一例を示した図である。図示するように、デジタル画像補正装置１００は、入力装置３１０と、表示装置３２０と、処理装置３３０と、主記憶装置３４０と、補助記憶装置３５０と、通信装置３６０と、これらを電気的に相互接続するバス３７０と、を有している。
　入力装置３１０は、例えばタッチパネルやキーボードあるいはマウスなどの入力デバイスである。表示装置３２０は、液晶ディスプレイや有機ディスプレイなどの表示デバイスである。
　処理装置３３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサである。主記憶装置３４０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などのメモリ装置（メモリリソース）である。なお、デジタル画像補正装置１００は、少なくとも１以上のプロセッサとメモリリソースを有している。
　補助記憶装置３５０は、デジタル情報を記憶可能ないわゆるハードディスク（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）あるいはフラッシュメモリなどの不揮発性記憶装置である。
　通信装置３６０は、ネットワークケーブルを介して有線通信を行う有線の通信装置、またはアンテナを介して無線通信を行う無線通信装置である。
　以上、デジタル画像補正装置１００のハードウェア構成の一例について説明した。
　このようなデジタル画像補正装置１００の処理部１１０は、処理装置３３０に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置３４０あるいは補助記憶装置３５０に記憶され、プログラムの実行にあたって主記憶装置３４０上にロードされ、処理装置３３０により実行される。
　また、記憶部１２０は、主記憶装置３４０または補助記憶装置３５０あるいはこれらの組合せにより実現される。また、通信部１３０は、通信装置３６０により実現される。
　また、デジタル画像補正装置の上記の各構成、機能、処理部および処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記構成、機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記憶装置またはＩＣカード、ＳＤカードおよびＤＶＤ等の記録媒体に置くことができる。
　また、本発明は上記した実施形態および変形例に限定されるものではなく、同一の技術的思想の範囲内において様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
　また、上記説明では、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
１０００・・・デジタル画像補正システム、１００・・・デジタル画像補正装置、１１０・・・処理部、１１１・・・画像取得部、１１２・・・画像補正部、１１３・・・画像解析部、１１４・・・出力情報生成部、１２０・・・記憶部、１２１・・・撮影画像ＤＢ、１３０・・・通信部、３１０・・・入力装置、３２０・・・表示装置、３３０・・・処理装置、３４０・・・主記憶装置、３５０・・・補助記憶装置、３６０・・・通信装置、３７０・・・バス、２００・・・カメラ、Ｎ・・・ネットワーク

Claims (13)

  1. 　ランダムパターンと所定形状の補正用図形とが含まれる画角の撮影範囲で測定対象物の表面を撮影したデジタル画像を取得する画像取得部と、
    　前記デジタル画像において、歪みの有る前記補正用図形を歪みの無い前記所定形状の補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する画像補正部と、
    　補正後の前記デジタル画像を用いた画像解析に基づき、前記測定対象物の変位またはひずみを推定する画像解析部と、を備える
    ことを特徴とするデジタル画像補正装置。
  2. 　請求項１に記載のデジタル画像補正装置であって、
    　前記行列は、ホモグラフィ変換行列であって、
    　前記画像補正部は、
    　前記ホモグラフィ変換行列に基づき、前記デジタル画像の歪みを補正する
    ことを特徴とするデジタル画像補正装置。
  3. 　請求項１に記載のデジタル画像補正装置であって、
    　前記画像解析部は、デジタル画像相関法による画像解析に基づき、前記変位またはひずみを推定する
    ことを特徴とするデジタル画像補正装置。
  4. 　請求項１に記載のデジタル画像補正装置であって、
    　前記撮影範囲には、少なくとも１以上の前記補正用図形が含まれている
    ことを特徴とするデジタル画像補正装置。
  5. 　請求項１に記載のデジタル画像補正装置であって、
    　前記撮影範囲には、同一形状または相互に異なる形状の複数の前記補正用図形が含まれている
    ことを特徴とするデジタル画像補正装置。
  6. 　請求項４に記載のデジタル画像補正装置であって、
    　前記撮影範囲に複数の前記補正用図形が含まれる場合、当該複数の補正用図形は、前記撮影範囲よりも狭い間隔で配置されている
    ことを特徴とするデジタル画像補正装置。
  7. 　請求項１に記載のデジタル画像補正装置であって、
    　前記撮影範囲には、当該撮影範囲の四隅に位置する複数の前記補正用図形が含まれている
    ことを特徴とするデジタル画像補正装置。
  8. 　請求項７に記載のデジタル画像補正装置であって、
    　前記画像補正部は、
    　前記撮影範囲の四隅に位置する各々の前記補正用図形の頂点同士を結ぶことで形成される仮想的な補正用図形について、歪みの有る当該仮想的な補正用図形を歪みの無い所定形状の当該仮想的な補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する
    ことを特徴とするデジタル画像補正装置。
  9. 　請求項１に記載のデジタル画像補正装置であって、
    　前記デジタル画像の歪みは、前記撮影範囲の移動に際し、前記デジタル画像を撮影したカメラと、前記測定対象物との位置関係および姿勢の変化を起因とする
    ことを特徴とするデジタル画像補正装置。
  10. 　請求項１に記載のデジタル画像補正装置であって、
    　前記ランダムパターンおよび前記補正用図形の少なくとも一方は、可視可能な色彩または赤外領域あるいは紫外領域で示されている
    ことを特徴とするデジタル画像補正装置。
  11. 　請求項１に記載のデジタル画像補正装置であって、
    　前記画像解析に基づき推定された前記測定対象物の変位またはひずみを示す出力情報を生成し、所定の表示装置に出力する出力情報生成部をさらに備える
    ことを特徴とするデジタル画像補正装置。
  12. 　デジタル画像補正装置が行うデジタル画像補正方法であって、
    　前記デジタル画像補正装置は、
    　ランダムパターンと所定形状の補正用図形とが含まれる画角の撮影範囲で測定対象物の表面を撮影したデジタル画像を取得する画像取得ステップと、
    　前記デジタル画像において、歪みの有る前記補正用図形を歪みの無い前記所定形状の補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する画像補正ステップと、
    　補正後の前記デジタル画像を用いた画像解析に基づき、前記測定対象物の変位またはひずみを推定する画像解析ステップと、を行う
    ことを特徴とするデジタル画像補正方法。
  13. 　コンピュータをデジタル画像補正装置として機能させるプログラムであって、
    　前記コンピュータを、
    　ランダムパターンと所定形状の補正用図形とが含まれる画角の撮影範囲で測定対象物の表面を撮影したデジタル画像を取得する画像取得部と、
    　前記デジタル画像において、歪みの有る前記補正用図形を歪みの無い前記所定形状の補正用図形に変換する際に求まる行列に基づき、前記デジタル画像の歪みを補正する画像補正部と、
    　補正後の前記デジタル画像を用いた画像解析に基づき、前記測定対象物の変位またはひずみを推定する画像解析部と、して機能させる
    ことを特徴とするプログラム。
PCT/JP2024/033261 2024-02-16 2024-09-18 デジタル画像補正装置、デジタル画像補正方法およびプログラム Pending WO2025173293A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-021950 2024-02-16
JP2024021950A JP2025125784A (ja) 2024-02-16 2024-02-16 デジタル画像補正装置、デジタル画像補正方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025173293A1 true WO2025173293A1 (ja) 2025-08-21

Family

ID=96772631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/033261 Pending WO2025173293A1 (ja) 2024-02-16 2024-09-18 デジタル画像補正装置、デジタル画像補正方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2025125784A (ja)
WO (1) WO2025173293A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337322A (ja) * 1998-05-26 1999-12-10 Yokogawa Bridge Corp ２次元画像比較による外観の測定方法および装置
JP2007240218A (ja) * 2006-03-07 2007-09-20 Hitachi Zosen Corp 撮影画像による変位計測時の補正方法
JP2020060394A (ja) * 2018-10-05 2020-04-16 株式会社Ihi 非接触計測装置の計測範囲拡大方法
JP2021128617A (ja) * 2020-02-14 2021-09-02 株式会社日立製作所 検査システム、検査方法及び構造物
JP2023082603A (ja) * 2021-12-02 2023-06-14 国立研究開発法人産業技術総合研究所 変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337322A (ja) * 1998-05-26 1999-12-10 Yokogawa Bridge Corp ２次元画像比較による外観の測定方法および装置
JP2007240218A (ja) * 2006-03-07 2007-09-20 Hitachi Zosen Corp 撮影画像による変位計測時の補正方法
JP2020060394A (ja) * 2018-10-05 2020-04-16 株式会社Ihi 非接触計測装置の計測範囲拡大方法
JP2021128617A (ja) * 2020-02-14 2021-09-02 株式会社日立製作所 検査システム、検査方法及び構造物
JP2023082603A (ja) * 2021-12-02 2023-06-14 国立研究開発法人産業技術総合研究所 変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラム

Also Published As

Publication number Publication date
JP2025125784A (ja) 2025-08-28

Similar Documents

Publication Publication Date Title
EP3346699B1 (en) Projection device, projection method and projection program
US9275431B2 (en) Method and system for calibrating laser measuring apparatus
EP4071713A1 (en) Parameter calibration method and apapratus
US9704246B2 (en) Image processing apparatus, image processing method, and storage medium
CN109754427A (zh) 一种用于标定的方法和装置
JP2014102246A (ja) 位置姿勢検出システム
CN112132907A (zh) 一种相机标定方法、装置、电子设备及存储介质
CN112292577B (zh) 三维测量装置以及方法
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
CN109920004A (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
JPWO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
CN114502913A (zh) 修正参数计算方法及装置、位移量计算方法及装置
TW201415010A (zh) 檢查裝置、檢查方法及檢查程式
CN113281723A (zh) 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
JP2007036482A (ja) 情報投影表示装置およびプログラム
CN102750698B (zh) 纹理摄像机标定装置与方法及其纹理图像几何校正方法
JP7262927B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
CN113496515B (zh) 全局标定方法、三维建模方法和以及多面柱体双目校正方法
JP7527532B1 (ja) 画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム
JP2025125784A (ja) デジタル画像補正装置、デジタル画像補正方法およびプログラム
CN102637094A (zh) 应用于光学式触控装置的校正信息计算方法及系统
JP7731129B2 (ja) 変位測定装置、そのシステム、変位測定方法およびそのプログラム
JP2014178536A (ja) 描画データ生成方法、描画方法、描画データ生成装置、および描画装置
JP2013231607A (ja) 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24924673

Country of ref document: EP

Kind code of ref document: A1