WO2018066868A1 - 3차원 형상 측정 장치 및 그의 측정 방법 - Google Patents

3차원 형상 측정 장치 및 그의 측정 방법 Download PDF

Info

Publication number
WO2018066868A1
WO2018066868A1 PCT/KR2017/010667 KR2017010667W WO2018066868A1 WO 2018066868 A1 WO2018066868 A1 WO 2018066868A1 KR 2017010667 W KR2017010667 W KR 2017010667W WO 2018066868 A1 WO2018066868 A1 WO 2018066868A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
grid pattern
pattern
dimensional
grid
Prior art date
Application number
PCT/KR2017/010667
Other languages
English (en)
French (fr)
Inventor
이경자
최수연
최수형
Original Assignee
이경자
최수연
최수형
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이경자, 최수연, 최수형 filed Critical 이경자
Publication of WO2018066868A1 publication Critical patent/WO2018066868A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to a three-dimensional shape measuring apparatus and a measuring method thereof, and more particularly, to a three-dimensional shape measuring apparatus and its measuring method by irradiation of a grid pattern to the three-dimensional shape.
  • the main spatial encoding three-dimensional (3D) shape measurement method is a multi-shot method for receiving and measuring multiple 2D (2D) grid patterns sequentially and a single-shot method for receiving and measuring one 2D grid pattern ( Sing-shot).
  • FIG. 1 is a view for explaining a conventional three-dimensional shape measurement apparatus.
  • FIG. 1A is a schematic diagram of a conventional three-dimensional shape measuring apparatus
  • FIG. 1B is a diagram showing an example of a grid pattern according to a conventional inspection type
  • 1C is a diagram illustrating another example of a grid pattern according to a conventional inspection type.
  • a conventional three-dimensional shape measuring apparatus includes a grid pattern projector 1102 and a camera 1101.
  • the grid pattern projector 1102 irradiates a grid pattern to an object to be measured, and irradiates light with the grid pattern.
  • the grid pattern 1103 is projected onto the object.
  • the camera 1101 photographs an object on which the grid pattern 1103 is projected.
  • the image input through the camera 1101 may be analyzed to measure a three-dimensional shape of the object.
  • the grid pattern is a 2D grid pattern Can be encoded and synthesized in 3D.
  • a method of encrypting the pattern type when light is emitted for example, in the speckle pattern type, a random speckle pattern method using a microlens, a digital light preocessing (DLP) projector, There are grid pattern irradiation and irradiation using one-dimensional micromirror.
  • DLP digital light preocessing
  • microlenses are uniformly arranged to diffuse light emitted from a light source, a random speckle pattern is formed to form a pattern, and 3D coordinates are easily calculated using a single 2D grid pattern. Can be.
  • the resolution of the image input sensor should be increased, and the lattice film forming the microlenses should be more precisely disposed to improve the accuracy.
  • the pattern irradiation method using DLP increases the resolution of the image input sensor to improve the resolution of the grid pattern, and precisely arranges the precision of the digital micro-mirror device (DMD) resolution of the micromirrors arranged in 2D. It should be improved. For example, when a grid pattern is input from a high resolution camera (eg, 2592x1944) in a device having a resolution of 608x684, one micromirror corresponds to four camera pixels. The size of the grid pattern is also enlarged, and it is not easy to extract information on camera pixels between the grid patterns. For this reason, there is a problem in that it is necessary to consider an additional method using information of surrounding pixel values.
  • DMD digital micro-mirror device
  • the problem to be solved by the present invention is to provide a three-dimensional shape measurement apparatus and a measuring method that can investigate the subdivided pattern in order to improve the three-dimensional precision in gesture recognition, robot vision, biometrics, and the like and recognize it in real time It is.
  • an image control unit including a camera for controlling a variable magnification image of the target object to the object to be measured; Sets the type and number of reference grid images projected onto the reference magnification image and the object, generates variable magnification images and variable magnification grid patterns for precise 3D measurement, and shifts the position of the minimum grid pattern to sub-grid patterns
  • An image and signal control means including a check grid pattern generator for generating a check grid patterns by generating a signal;
  • a pattern signal generator configured to receive the inspection grid pattern information and to generate a signal waveform for controlling the line light to be projected onto the object according to the inspection grid pattern information;
  • Grid pattern projection means comprising a pattern projection unit for generating a grid pattern shape composed of one or more line patterns projected onto the object;
  • Image input means for receiving an image at a period synchronized with a two-dimensional grid pattern projected on the object;
  • Information processing means for storing the two-dimensional grid patterns generated sequentially and extracting three-dimensional coordinates by synthesizing a
  • the camera is one of a pan tilt zoom camera, a zoom lens camera, a pan tilt camera, and a single lens camera, and the lens mounted to the camera may be a zoom lens or a single lens.
  • the check grid pattern may calculate a variable magnification grid pattern and a sub grid pattern to display a grid pattern having the same structure as the reference grid pattern configured in the reference image on the variable magnification image partially enlarged in the reference image.
  • the control of the variable magnification image may be performed by using a zoom camera or a pan tilt zoom camera to control an image magnification of a partial region of a reference image based on an enlarged magnification of the variable magnification image with respect to a distance required for measuring the object. Can be.
  • the variable magnification grid pattern may be configured to form a grid pattern image having the same structure as that of the reference image in order to calculate a three-dimensional precision proportional to an image magnification of the partial region of the reference image in the variable magnification image.
  • the image may be calculated using a partial region coordinate value, an image resolution, an enlarged magnification, a waveform generation period, and a waveform generation time point of the reference grid pattern.
  • the minimum grid pattern may be configured as a minimum number of pixels that can be detected by an image processing technique in a 2D grid pattern image.
  • the sub-grid pattern is the minimum grid based on a setting value of the sub-grid pattern for the movement of the minimum grid pattern, the number of the sub-grid pattern, the viewpoint information of the signal waveform, the pixel resolution of the image and the thickness of the line pattern Can be created using a pattern.
  • the inspection grid pattern information may be information for sequentially transmitting the inspection grid patterns including the variable magnification grid pattern and the sub-grid pattern generated by the inspection grid pattern generator to the pattern signal generator.
  • the pattern signal generator may convert the check grid pattern into a signal waveform and sequentially generate signals to the pattern projector.
  • the lens may be a cylindrical lens converting laser light into line light and condensing the line light on the surface of the one-dimensional micromirror.
  • the line pattern may control the intensity of light generated from the laser light by a current controlled at a specific point in time by the signal waveform generated by the pattern signal generator to form a line light having a minimum thickness through the lens.
  • the line light may be generated as the line light is irradiated onto the one-dimensional micromirror surface and projected onto the object.
  • line light is irradiated onto the object according to the type of signal waveform at the time of rotation angle of the one-dimensional micromirror, so that the line patterns generated during the rotation period receive the two-dimensional grid pattern image from the camera. can do.
  • the pan tilt zoom camera may be spaced apart from the predetermined distance by installing the pattern projection unit on a fixed plate, and the pan tilt zoom camera and the image input may be controlled by an external signal.
  • the zoom camera and the image input may be controlled by an external signal by installing the pattern projecting unit on a fixed plate at a predetermined distance from the zoom camera and installing a plate fixed on the pan tilt.
  • the extraction of the three-dimensional coordinates, the inspection grid patterns are sequentially projected to the target object using the signal waveform generated by the grid pattern projection means, and the three-dimensional grid patterns input from the camera using the three-dimensional
  • the 3D coordinates may be extracted by synthesizing the images.
  • the information processing means may include a grid pattern for each type projected onto the object, a magnification and coordinate setting for initialization and control of the camera, a number of grid pattern type light inspection grid patterns required for three-dimensional measurement, and a variable required for measurement accuracy. Information of the magnification grid pattern and the sub grid pattern may be stored.
  • the three-dimensional shape measurement method the step of setting the three-dimensional environment for the reference image and the reference grid pattern to measure the three-dimensional shape of the object;
  • An image and signal control step of controlling a camera magnification and position with respect to the position of the object at a magnification of the partial image in the reference image, and calculating inspection grid patterns using a reference grid pattern for three-dimensional measurement of the object; ; Transforming the inspection grid pattern into a signal waveform, and the signal waveform sequentially emits the grid pattern from the grid pattern projecting means through laser light; Inputting a grid pattern image projected on a surface of the object through a camera included in an image input unit; Processing the input two-dimensional grid pattern image by an information processing means as an image for measuring a three-dimensional shape; And displaying the 3D image on an output unit.
  • the setting of the three-dimensional environment may include grating patterns for each inspection type, the number of sublattice patterns, a set value of pixels for moving the sublattice pattern from the minimum lattice pattern, an enlargement magnification for an object, and data related to camera control. It may include doing.
  • the method further comprises the step of calculating the variable magnification grid pattern and sub-grid pattern required for the accuracy of the measurement, the grid pattern emitted through the laser light
  • the calculated variable magnification lattice pattern and the sub lattice pattern may be sequentially reflected and emitted.
  • the variable magnification grid pattern may be generated by calculating a variable magnification grid pattern to calculate a three-dimensional precision proportional to a ratio of an image that is changed to a variable magnification by using the position and distance information of the object in the reference image. .
  • the sub-grid pattern may be generated by moving the 2D grid pattern image by converting the moving distance between pixels of the image into view information according to time to view information of the signal waveform for precise 3D measurement.
  • the magnification of the partial image may be adjusted by extracting the size, position and distance information of the target object from the reference image to adjust the image magnification of the partial region of the reference image.
  • a lattice pattern projection apparatus including a one-dimensional micromirror to irradiate a variable magnification image, a variable magnification lattice pattern, and a sub lattice pattern in real time
  • 3D precision can be improved, and It is possible to improve the measurement accuracy of the 3D shape by using a variable magnification grid pattern.
  • the three-dimensional shape measuring apparatus of the present invention in gesture recognition, by zooming in on a specific part of the image to precisely measure the body part, face recognition for the user located at a certain distance, 3D coordinates for the object having a distance change It is possible to extract the precise 3D spatial coordinates of the measurement object in the required robot vision and machine vision that needs to extract the 3D coordinates using a more precise grid pattern, which can be applied to various fields such as existing mobile devices or 3D measurement devices.
  • FIG. 1 is a view for explaining a conventional three-dimensional shape measurement apparatus.
  • Figure 2 is a schematic diagram showing a three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a three-dimensional shape measuring method according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating image and signal control of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating signal generation and image input for a grid pattern of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating setting a variable magnification grid pattern of the 3D shape measuring apparatus according to the exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating setting of a sub-grid pattern of the 3D shape measuring apparatus according to the exemplary embodiment of the present invention.
  • FIG. 8 is a view showing an example of a planar light path diagram of line light of the three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 9 is a view showing an example of the front light path diagram of the line light of the three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of a one-dimensional micromirror composed of MEMS of a three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of a grid line pattern of a partial region in a minimum grid pattern image of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of a grid line pattern of a partial region in a sub-grid pattern image of the 3D shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a smart TV equipped with a 3D scanner for gesture recognition of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an example of a pan tilt zoom camera of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • 15 is a view showing an embodiment of a variable magnification image of the 3D shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 16 is a view illustrating signal waveforms and a grating pattern of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 17 is a diagram illustrating signal waveforms and reference grid pattern images of inspection grid patterns of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 18 is a view illustrating signal waveforms and a variable magnification grid pattern image of inspection grid patterns of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 19 is a diagram for describing an example for executing a gesture command of a user of a 3D shape measuring apparatus according to an exemplary embodiment.
  • FIG. 20 is a diagram illustrating an example of an image input to a camera by enlarging a partial region of FIG. 19 into a variable magnification image by controlling pan tilt zoom of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 21 is a diagram illustrating an image of a body part displayed on a monitor after 3D measurement by an image processor by receiving an image by inspecting the inspection grid patterns in FIG. 19.
  • FIG. 22 is a diagram illustrating an image of a body part displayed on a monitor after 3D measurement by an image processor by receiving an image by inspecting the inspection grid patterns in FIG. 20.
  • FIG. 23 is a diagram for explaining an example of 3D face recognition using a variable magnification image of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • Part' used in the present embodiment may include software components, drivers, firmware, microcode, circuit, data, and the like.
  • reference grid pattern "check grid pattern”
  • variable magnification grid pattern “minimum grid pattern” and “sub grid pattern” may be used, respectively, which refers to the classification for the grid pattern.
  • one-dimensional micromirror and “micromirror” are “uniaxial MEMS mirror” and “single-axis micromirror”, and the same terms mean one-dimensional MEMS micromirrors.
  • modulation waveform and “signal waveform” refer to the conversion of an electrical signal to transmit information in the same terms.
  • reference image and “variable magnification image” use the term “reference image” to refer to an image input to an object at a set magnification after initializing the 3D shape measuring device for measuring a 3D shape.
  • variant magnification image is used for an image in which a partial region located in the image is enlarged using a pan-tilt-zoom lens.
  • the terms “reference grid pattern” and “variable magnification grid pattern” refer to a grid pattern that is input by projecting the grid pattern onto an object at a set magnification after initializing the 3D shape measuring device for 3D measurement.
  • the term “grid pattern” is used, and the term “variable magnification grid pattern” is used for a grid pattern input by projecting a grid pattern onto an object in a variable magnification image.
  • minimum grid pattern and “sub grid pattern” refer to a grid pattern having a minimum thickness that can be extracted by applying image processing from an inspection image when performing 3D measurement using a grid pattern image.
  • sub-grid pattern is used for the grid pattern obtained by finely inputting the minimum grid pattern in the inspection image.
  • check grid pattern and “check grid patterns” refer to the grid pattern generated by the image and signal control unit when the grid pattern information is transmitted to the grid pattern projection unit for 3D measurement. Denotes a 2D grid pattern, and a grid pattern composed of one or more inspection grid patterns uses the term "inspection grid patterns”.
  • the assumption is that the display generated from the pattern projecting part projected to the object by the line light is corrected by the correction factor, and the image, lighting, and 3D coordinate values necessary for the 3D measurement are already calibrated,
  • the irradiated laser has a stable level, and the power of the laser light can be amplified with distance.
  • pan tilt zoom camera can be magnified up to 4 times based on the reference image, and the magnification and position correction values according to the distance to the initial measurement object are set and programmed, and the algorithm of 3D measurement and recognition of the object has already been established. Assume that it is programmed.
  • FIG. 2 is a schematic view showing a three-dimensional (3D) shape measurement apparatus according to an embodiment in a plan view.
  • the screen 11 projecting a two-dimensional (2D) grid pattern is a 2D grid on an object as shown in FIG. 19 during 3D measurement. Examine the pattern image.
  • the three-dimensional shape measuring apparatus according to an embodiment of the present invention, the image and signal control means 100, the grid pattern projection means 200, the image input means 300 and the information processing means 400 ).
  • the image and signal control means 100 includes an image controller 110 and an inspection grid pattern generator 120.
  • the image controller 110 adjusts the magnification with respect to the partial image in the reference image and controls the position of the camera 310 with respect to the position. That is, when measuring a 3D shape, at the first step receives a reference image of the object to be measured, and then performs a measurement on the 3D shape from the reference image to determine the 3D position information of the measurement object and the partial region extracted from the image.
  • the camera 310 is controlled by setting the position and magnification of the partial region image using the information.
  • the inspection grid pattern generator 120 sets the reference grid pattern using reference image information necessary for synthesizing the 3D shape of the object to be measured by using information about the type and number of grid patterns in the 3D measurement. Then, the reference grid pattern information and the position information about the 3D shape are extracted from the reference image information, and the extracted information is used to calculate the 3D precision proportional to the magnification in the variable magnification image that enlarges the partial region of the object to be measured in the image.
  • a variable magnification lattice pattern that can project a lattice pattern having the same structure as that of the reference lattice pattern is set.
  • the sub grid pattern is set while moving the minimum grid pattern finely.
  • One or more inspection grid patterns composed of variable magnification grid patterns and sub-grid pattern information are calculated by using the variable magnification image information necessary for synthesizing the 3D image of the object to be measured. Detailed examples of the check grid patterns therefor will be described later before the description of FIG. 3.
  • the grid pattern projector 200 includes a pattern signal generator 210 and a pattern projector 250.
  • the pattern signal generator 210 converts the check grid pattern into a signal waveform.
  • the pattern signal generator 210 converts the inspection grid pattern into a signal waveform within a waveform period, generates an image input signal to the image sensor 311 included in the camera 310 of the image input means 300, and sequentially The generated waveform is transmitted to the pattern projector 250.
  • the pattern projection unit 250 irradiates the line light of the laser diode 251 to the one-dimensional MEMS mirror, and irradiates the line light to the object at the time of the rotation angle of the micromirror.
  • the pattern projection unit 250 controls the current by using the signal waveform, and emits light by controlling the intensity of the laser diode 251 light.
  • the emitted light is converted into line light by the line light constituent lens and is focused on the surface of the micromirror by the cylinder lens.
  • the line light is reflected from the surface of the micromirror 261 at the time of the rotation angle during the line light irradiation direction period 262 and is projected onto the measurement object.
  • the waveform period 212 of the signal waveform 211 generated in the inspection lattice pattern is the same as the period of the line light irradiation direction 262 when the one-dimensional micromirror 261 resonates, and the direction in which the line light is irradiated. Same as the period 282, and equal to an exposure time of the image sensor 311 of the camera 310. Therefore, the line pattern projection position 273 of the line light irradiated at the specific time point 213 of the waveform in the line light irradiation area 270 is a set of lattice patterns composed of one or more line patterns. Is input to the line pattern 351.
  • the waveform waveform 211 of FIG. 4202 may be the same as the line pattern 271 of FIG. 2
  • the waveform point 4203 of FIG. 17 may be the same as the line pattern 272 of FIG. 2
  • the waveform point 4420 of FIG. It may be the same as the line pattern 274 of FIG.
  • the image input by the camera 310 may be the same as the grid pattern 4221 of FIG. 17.
  • the image input unit 300 transmits the 2D grid pattern image of the line pattern projected on the object to the information processing unit 400 during the period of the signal waveform from the camera 310.
  • the image input unit 300 receives the 2D grid pattern image 350 from the line pattern shape projected by the image input sensor 311 included in the camera 310 and completes the image input.
  • the camera 310 may be either a pan tilt camera or a single lens camera
  • the lens 320 may be a zoom lens or a single lens.
  • the grid pattern projector when the grid pattern projector is implemented with an infrared wavelength, when the camera controls the variable magnification image, the 2D image may be input so that the magnification and the pan tilt zoom of the image may be used.
  • a pan tilt zoom camera for detecting infrared rays as a wavelength band and a pan tilt zoom camera for detecting a wavelength band of a visible light region for an object in the visible light region are synchronized in parallel to adjust a predetermined distance in the grid pattern projection means 200.
  • the visible light region and the visible light region may be simultaneously input, and an RGB-IR camera implemented with a pan tilt zoom may be mounted.
  • the RGB-IR image input sensor included in the RGB-IR camera is an example. It may be OmniVision's OV4682.
  • the information processing means 400 performs image processing for 3D shape measurement by using the 2D grid pattern image transmitted from the image input means 300.
  • the image processed image is transmitted to the output means 500.
  • the information processing means 400 is used for setting grid patterns for each type for measuring the three-dimensional shape shown in FIG. 1B or 1C, setting magnification and coordinates related to camera initialization and control, and 3D measurement. Information on the required grid pattern type, the number of inspection grid patterns, the variable magnification grid pattern and the sub-grid pattern required for the measurement accuracy is stored, and transmitted to the output means 500.
  • the information processing means 400 may include an image processing unit 410, a processor 450, and a memory 460. 3D image synthesis and 3D required for 3D measurement using 2D grid patterns input from the camera 310. Algorithms required for coordinate extraction can be programmed and stored. At this time, as an example of 3D coordinate extraction, the 3D coordinates 272 based on the triangulation principle using the distance 411 based on the coordinate points of the camera 310 and the one-dimensional micromirror 261 spaced at a predetermined distance. Can be calculated for distance 412.
  • the output means 500 displays the image and the information transmitted from the information processing means 400.
  • the control of the camera 310 is moved by the pan tilt control 3704 and 3705 with respect to the image position, as shown in the pin tilt zoom camera 3710 shown in FIG.
  • An enlargement and reduction function of an image may be added through the control and zoom control 3703. Accordingly, as shown in FIG. 15, the pan tilt zoom camera 3710 controls the position and the magnification in order to improve the 2D resolution and the 3D precision of the partial region 3802 in the initialized reference image 3801 to the same magnification.
  • the variable magnification image 3803 may be input.
  • the reference grid patterns may be configured as one of a modulation waveform type, a grid pattern, and a grid pattern image.
  • the 64 grids may include nine grid patterns 1201 and 1203 illustrated in FIG. 1B. It can be divided into patterns.
  • the four grid patterns 1301 illustrated in FIG. 1C may be divided into 110 steps 1302 to sequentially receive images.
  • the variable magnification grid pattern may calculate the grid pattern on the variable magnification image 3803, which is twice as large as that obtained from the reference image 3801 of FIG. 15. For example, the signal of the reference image 3801 shown in FIG. 16A may be calculated. If the waveform 4110 is referred to as a grid pattern image 4120, as shown in FIG. 16D in the variable magnification image 3803, the 3D accuracy improved by doubling can be calculated by projecting the signal waveform 4170 onto an object. .
  • the image may be input using a camera equipped with a single lens.
  • the sub lattice pattern may calculate precise 3D coordinates using the minimum lattice pattern.
  • the sub lattice pattern may be set while the minimum lattice pattern is finely moved along the x-axis.
  • the sub lattice pattern 1203 for the sixth minimum lattice pattern 1204 of FIG. 1B is set.
  • the grid line pattern illustrated in FIG. 11 is an example of the minimum grid pattern 1204 in the partial region 3401 of the minimum grid pattern image.
  • the sub lattice pattern illustrated in FIG. 12 corresponds to the sub lattice patterns 3512, 3522, and 3532 in which the partial regions 3511, 3521, and 3531 of the minimum grid pattern image of FIG. 11 are moved in the x-axis direction by one pixel. It is an example.
  • FIG. 3 is a flowchart illustrating a measuring method of a three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • measurement of the 3D shape of the object to be measured is started 610 by a user's command.
  • configuration of the 3D shape measurement is required 620.
  • the data related to the 3D measurement is loaded into the memory by the information processing means 400.
  • the grid patterns by inspection type the number of sub-lattice patterns, the setting value of the pixel to move the sub-lattice pattern in the minimum lattice pattern, the magnification of the distance of the object, the data related to the camera control, the pattern of the grid pattern projection means Environment setting such as initialization and synchronization of the camera of the signal generator, pattern projector, and image input means is performed (620).
  • the type of image control and measurement method is selected (630).
  • This step is performed according to the flowchart 700 shown in FIG. 4, which will be described later.
  • a next step 640 check grid patterns are performed sequentially (640).
  • the image and signal control unit 100 sequentially transmits the inspection grid pattern i to the grid pattern projection unit 200 (640).
  • step 650 signal generation projection and image input of the grid pattern are performed (650).
  • This step is performed according to the flowchart 800 shown in FIG.
  • the waveforms are sequentially amplified to emit light, transform the emitted light into line light, and then use the one-dimensional micromirror. Reflect on the surface of the projection to the object.
  • the 2D grid pattern image is input from the camera 310.
  • the next step 660 is a video input completion step (660).
  • step 670 is performed. Otherwise, step 640 is performed to receive the check grid pattern i + 1.
  • a 3D image synthesis and measurement step is performed.
  • the 2D grid patterns input to the camera 310 are transmitted to the image processor 410, and the image processor 410 synthesizes the 3D image to calculate 3D coordinates of the object and transmits the 3D coordinates to the output means 500. Display.
  • the next step is the 3D continuous measurement step 680, where it is necessary to perform 3D measurement continuously, such as gesture recognition, perform step 630 and perform step 690 at the end.
  • End step 690 ends the 3D measurement.
  • FIG. 4 is a flowchart illustrating image and signal control of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • the type of the image control and measurement method illustrated in FIG. 3 describes the selection step 630 in more detail.
  • the start step 710 sets and controls the magnification and coordinates of the camera 310 for the 3D measured image in the image controller 110 for the object.
  • the inspection grid pattern generation unit sets the grid pattern type and the number of grid patterns required for 3D measurement, and sets the variable magnification grid pattern and sub-grid pattern of the inspection grid patterns required for the accuracy of the measurement.
  • the position and magnification ratio information of the object to be measured in the image is input to the image controller 110 from the image processor 410, and the image controller 110 is a fan.
  • the tilt zoom camera is controlled to perform zoom control and pan tilt control on the position of the measurement target object using a ratio of the partial magnification to the measurement target object (730).
  • Grid pattern type for the inspection types shown in FIGS. 1B and 1C in consideration of the type and precision of the grid patterns required for the 3D measurement to set the reference grid pattern required for the inspection. And the number of grid patterns is selected (740).
  • variable grid pattern information having the same structure as that of the reference image and the image is projected on the variable magnification image using the image magnification information selected in step 720 and the grid pattern information selected in step 740.
  • a variable magnification grid pattern is set to be able to do so (750).
  • the grid pattern image 4120 is projected onto the object, and as shown in FIG. 16D at the same camera magnification.
  • the grid pattern image 4180 is projected onto the object.
  • variable magnification image 3803 of FIG. 15 is enlarged by 2 times the partial region 3802 of the reference image 3801 will be described with reference to FIGS. 17 and 18.
  • the signal waveform 4211 is deformed from the reference image 3801 to the reference grid pattern 4231 to form a grid pattern 4221.
  • the signal waveform 4311 is transformed from the variable magnification image 3803 to the variable magnification grating pattern 4431 to form the variable magnification grating pattern 4321.
  • the setting of the variable magnification grid pattern may be calculated as a ratio from the reference image to the partial region image.
  • a sub grid pattern is set.
  • the grid pattern is set while moving the pixel of the minimum grid pattern on the x-axis using a set value finely (760).
  • the signal waveform 4180 of FIG. 16E to be described later is a waveform period 4141 for the partial region 3401 of the minimum grid pattern of FIG. 11, and the waveform 4185 generated by using viewpoint information in the one-dimensional micromirror. to be.
  • the period 4142 corresponds to 4 pixels in the image in the x-axis direction of the grid pattern in the image projected by one micromirror of the DMD illustrated in FIG. 11. Fine movement of 1 pixel using the line pattern is impossible.
  • the grating pattern means using the one-dimensional micromirror can be controlled as shown in the signal waveform 4185 of FIG. 16E, and can control the fine waveform adjustment as shown in the sub-grid pattern 1203 shown in FIG. Line patterns can be constructed.
  • the next step is an end step 770. After controlling the image position and magnification of the target object with the camera 310, it is calculated as a variable magnification grid pattern and sub-grid pattern using the reference image, reference grid pattern information and variable magnification image information necessary for synthesizing the 3D image. One or more check grid patterns are calculated (770). And the next step 640 shown in FIG. 3 is performed.
  • FIG. 5 is a flowchart illustrating signal generation and image input for a grid pattern of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • the start step 810 is a step in which the sequential execution 640, 2D grid pattern projection, and image input 650 of the inspection grid pattern i shown in FIG. 3 are performed. After projecting the line light to the object using a), an image is input (810).
  • the grid pattern images 4120, 4140, and 4160 of FIGS. 16A to 16D will be described below for setting 815 the signaling, modulation waveform, and frequency m of the inspection grid pattern i. 4180 and the modulation waveform generation period 4101 may be converted into waveforms 4110, 4130, 4150, and 4170.
  • the sixth grating pattern 1204 of FIG. 1B may be converted into a signal waveform 4216 and a reference grating pattern image 4226 using the check grating pattern 4236 of FIG. 17 to be described later. .
  • the next step is to start the exposure of the image sensor 825, in the resonant angle 263 of the one-dimensional micromirror shown in Figure 2, when the rotation angle of the one-dimensional micromirror is the starting point 271 of the modulation waveform A video input signal of 310 is generated (825).
  • the next step is to generate a waveform k for each rotation angle time point of the mirror resonant period 830.
  • the rotation angle time point during the line light irradiation direction 262 during the rotation of the one-dimensional micromirror shown in FIG. Generate waveforms very much.
  • the waveform generation (k) for each time point represents the waveform for each time point with respect to the number m of waveforms generated in the entire waveform generation period.
  • the waveform generated at the specific time point 213 of the waveform coincides with the line pattern projection position 273 when the one-dimensional micromirror rotates, and the line pattern 351 is generated at the specific time point of the waveform in the 2D image.
  • the next step is amplifying the waveform and emitting laser light (835).
  • the pattern signal generator 210 controls the current of the waveform generated for each time point to control the intensity of light. This step is shown in FIG. 16C which will be described later.
  • the next step is to convert to line light (840).
  • the light emitted from the laser diode 251 is converted into line light by the line light component lens 252 shown in FIGS. 8 and 9.
  • the next step is a mirror reflection step 850 of line light.
  • the light converted to the line light 3312 illustrated in FIG. 10 to be described later is reflected on the surface of the micromirror according to the rotation angles of the one-dimensional micromirrors 3301 and 3305, and is reflected on the surface of the micromirror.
  • Line light 3313, 3314, 3315 projects the line pattern onto the object.
  • the shape of the grid pattern is formed by one or more line patterns, and is input to the image input sensor of the camera.
  • the next step is to complete the waveform generation (860).
  • the step 865 is performed, and if not, the generation of the waveform at the next time point (k + 1) is performed. Step 830 is performed.
  • the exposure of the 2D grid pattern image sensor is completed. This step is generated during the generation period of the signal waveform 211, the 2D grid pattern is input to the grid pattern projected on the object by the image input sensor of the camera to complete the image input of the camera.
  • FIG. 6 is a flowchart illustrating setting a variable magnification grid pattern of the 3D shape measuring apparatus according to the exemplary embodiment of the present invention.
  • the image processor 410 may determine the variable magnification of the partial region. Information about the magnification ratio, the distance and coordinates between the object and the camera, and the inspection grid pattern is input.
  • the next step is a variable magnification and position calculation step using the partial magnified image information (2530).
  • the magnification of an arbitrary object is proportional to the distance by using the distance between the camera 310 of the reference image information and the image center, and any object 3804 in FIG.
  • the enlarged ratio of the partial region 3802 can be obtained by the variable magnification image 3803 which is enlarged twice by the current reference image 3801.
  • the next step is calculating the variable magnification lattice pattern for the inspection lattice pattern (3803).
  • the variable magnification grid patterns 4331, 4332, 4333, 4334, 4335, and 4336 may be modified.
  • Equation 1 the waveform time points 4113 and 4178 of the variable magnification grating pattern of FIG. 16D to be described later are represented by Equation 1 below.
  • Pxlen 640, the x-axis resolution of the reference image 3801 in FIG.
  • Tsrt denotes the waveform start time 4113 of the variable magnification grid pattern in the signal waveform 4170.
  • Tsrt Tp x (Pxsrt / Pxlen)
  • FIG. 16D is a waveform-based viewpoint 4178 of the variable magnification grating pattern.
  • FIG. 7 is a flowchart illustrating setting of a sub-grid pattern of the 3D shape measuring apparatus according to the exemplary embodiment of the present invention.
  • the first step is inputting minimum grid pattern information (2620).
  • the image processor 410 receives the image information of the x-axis line pattern of the minimum grid pattern extracted from the variable magnification grid pattern for the inspection grid panel and the pixel information of the resolution according to the camera resolution.
  • Information about a value for moving the x-axis necessary for calculating the sub-grid pattern in consideration of the thickness of the line pattern is input.
  • the number of x-axis pixels of the partial region 3401 of the minimum grid pattern is 4, and the sub-lattice pattern image is calculated by moving pixels one by one on the x-axis.
  • the next step is calculating the grid pattern displacement value and the number of sublattice patterns (2630). For example, if the number of x-axis pixels of the partial region 3401 of the minimum grid pattern is 4 in FIG. 11, three sub-grid pattern images may be extracted by moving pixels one by one on the x-axis, and the number of line patterns for the pixels may be extracted. The calculation is possible.
  • the next step is calculating the sublattice pattern (2640). For example, assuming that three sub-grid patterns are extracted by moving the x-axis by 1 pixel unit as shown in FIG. 12, when the line pattern for the partial region 3401 of the minimum lattice pattern is moved by one pixel on the x-axis, Three sub-lattice patterns 3511, 3521, and 3531 may be extracted.
  • FIG. 8 is a view showing an example of a planar light path diagram of line light of the three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • 9 is a view showing an example of the front light path diagram of the line light of the three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 8 and 9 illustrate a line light constituent lens 252 in which the waveform signal is converted into line light by the lens by the amplification of the current to form a line pattern, and is emitted from the laser diode 3101.
  • the converted light is converted into parallel light by the collimator lens 3106
  • the parallel light is changed into the line light 3100 by the cylinder lens 3102
  • the changed line light 3100 is converted into the micro light by the cylinder lens 3103.
  • the light is collected by the mirror 3104, the light is reflected to form a line pattern 3205 on the object.
  • the laser diode 3101 may be configured as a wavelength in the visible or infrared region, and the lens constituting the line light path may include a combination of one or more cylindrical lenses, a compound lens, and a DOE (Diffractive). Optical elements).
  • FIG. 10 is a diagram illustrating an example of a one-dimensional micromirror composed of MEMS of a three-dimensional shape measuring apparatus according to an embodiment of the present invention.
  • micro electro mechanical systems MEMS
  • the micromirror 3301 resonates at a constant angle 3302 about one rotation axis.
  • 10B is a side view of the micromirror 3305, and the line light 3312 is reflected on the surface of the micromirror 3305 according to a point in time at which the line light 3312 occurs in a resonant period, and the reflected line light 3313, 3314, and 3315 are reflected. ) Onto the object.
  • FIG. 11 is a diagram illustrating an example of a grid pattern of a partial region in a minimum grid pattern image of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 11 illustrates a grid pattern including a minimum number of pixels capable of detecting a grid pattern in image processing.
  • the grid pattern is assumed a minimum grid pattern of four pixels on the x-axis.
  • Texas Instruments' DLP3000's DMD digital micro-mirror device
  • a grid pattern is input to a high resolution camera (2592 x 1944)
  • one micromirror Four image pixels Pixel correspond to the x-axis.
  • another example is a case in which the user arbitrarily designates the number of pixels of the minimum lattice pattern for the purpose of clearly detecting the grid pattern in the image without noise of the surrounding background.
  • FIG. 11 a partial region 3401 of the minimum lattice pattern in the image is applied.
  • the pattern 3404 and the optional pixel 3403 representing the surrounding black (light off) state are displayed by assuming that the bright color (light ON) and the minimum grid pattern are 4 pixels 3402 on the x-axis. It is.
  • FIG. 12 is a diagram illustrating an example of a grid pattern of a partial region in a sub-grid pattern image of the 3D shape measuring apparatus according to an embodiment of the present invention.
  • the minimum grid Patterns 3512, 3522, and 3532 are shown by slightly shifting the position by one pixel on the x-axis, and the brightness (bright-light ON, black-light OFF, Black-lighting OFF) is changed.
  • FIG. 13 is a diagram illustrating an example of a smart TV equipped with a 3D scanner for gesture recognition of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • Fig. 13 shows an example of a smart TV equipped with a gesture recognition 3D scanner.
  • the gesture recognition 3D scanner 3603 attached to the smart TV 3604 is a grid pattern projector 3601 and a pan tilt zoom camera 3602 of the present embodiment. ) Is built.
  • FIG. 14A illustrates an example of a pan tilt zoom camera of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • the pan tilt zoom camera 3710 includes an image input sensor 3701, a zoom lens 3703 including a lens 3702, and a pan driving device ( 3704, a tilt driving device 3705 is built in, and the pan tilt zoom and image input are controlled by an external signal.
  • a pan driving device 3704, a tilt driving device 3705 is built in, and the pan tilt zoom and image input are controlled by an external signal.
  • the pan-tilt-zoom (PTZ) camera and the pattern projecting unit may be configured as illustrated in FIGS. 14B and 14C.
  • FIG. 14B is a diagram showing an example of a pan-tilt-zoom (PTZ) camera and a pattern projecting unit.
  • PTZ pan-tilt-zoom
  • the zoom lens 3403, the camera 3901, and the pan tilt driver 3902 are installed on the fixed plate 3905, and the pattern projection unit 3904 is mounted at a predetermined distance, and the fan is driven by an external signal. Controls tilt zoom and video input.
  • FIG. 14C is a diagram illustrating another example of a pan-tilt-zoom (PTZ) camera and a pattern projecting unit.
  • PTZ pan-tilt-zoom
  • the zoom lens 3403 and the camera 3901 are installed on the fixed plate 3905 to control the zoom lens, and after mounting the pattern projection unit 3904 at a predetermined distance, the fixed plate 3905 is mounted. Controlled by the pan tilt drive device 3902.
  • 15 is a diagram illustrating an example of a variable magnification image of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • FIG. 15 illustrates an example of implementing a variable magnification image 3803, which is an image in which a partial region 3802 is enlarged in a reference image 3801 and receives inspection grid patterns for the reference image from the image and signal control means 100.
  • a variable magnification image 3803 is received by performing a 2x magnification command on the partial area 3802 using a pan tilt zoom camera.
  • FIG. 16 is a view illustrating signal waveforms and a grating pattern of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 16A illustrates an example of converting a signal waveform and a grating pattern according to an embodiment.
  • the waveform generation period 4101 is synchronized with the exposure time of the camera, the 2D grid pattern image generated during the waveform generation period 4101 4120, 4140, 4160, and 4180, waveforms in which the inspection grid patterns are generated for each point of time during the waveform generation period 4101 are generated in a state of changing the length 4102 and the brightness of the x-axis image in the 2D grid pattern image.
  • the signal waveform 4110 is a grid pattern irradiated to the screen when the illumination of the laser light is turned off during the waveform generation period 4111, and the black grid pattern 4123 is divided into x-axis lengths in proportion to the waveform generation period 4111. 4121).
  • the grid pattern irradiated onto the screen is generated with a white grid pattern 4124 having an x-axis length 4122 in proportion to the waveform generation period 4112 so that the camera generates a 2D grid.
  • the pattern image 4120 is input.
  • 16B is an example of controlling the x-axis length of the grid pattern image by controlling the time of the waveform in the signal waveform 4130.
  • the grid pattern irradiated to the screen is a waveform generation period. Proportional to 4131, a white grid pattern 4142 is generated with an x-axis length 4141 to receive a 2D grid pattern image 4140.
  • FIG. 16C illustrates an example of controlling the brightness and the x-axis length of the grid pattern projected on the screen by controlling time and current values of the waveform in the signal waveform 4150.
  • the intensity of the laser light is adjusted to the current value at the time point of the waveform generation period 4156.
  • the grid pattern generates a grid pattern having values of the x-axis length 4141 and the brightness 4416 in proportion to the current level 4156 and the waveform generation period 4155, so that the camera inputs the 2D grid pattern image 4160. Receive.
  • 16D illustrates a variable magnification image and a variable magnification grid pattern.
  • the grid pattern image 4120 of FIG. 16A is projected.
  • the grid pattern image 4180 projected onto the measurement object is projected at the reference magnification.
  • the grid pattern is projected black (4175), x-axis length 4417, and in the waveform period 4142, the grid pattern is projected light color (4176), x-axis length (4174) Magnification is entered into the camera.
  • variable magnification grid pattern may be calculated using the position and magnification of the partial region in the reference image, and the variable magnification grid pattern may be converted into a signal waveform.
  • FIG. 16E is an example showing the precision of a signal waveform occurring in a minimum lattice pattern section occurring during an arbitrary period of one-dimensional micromirror cycle.
  • the sublattice pattern is set while the smallest lattice pattern is moved to the x-axis minutely, and the signal waveform 4190 is the waveform period 4141 of the partial region 3401 of the minimum lattice pattern of FIG.
  • the length 4187 of the waveform indicates the time and the number of waveforms for one pixel, and one waveform indicates one line pattern.
  • the period 4142 in FIG. 16E is the minimum in structure of the DMD when the length of 4 axes of 4 axes of the smallest lattice pattern projected by one micromirror of the DMD is projected in the DLP projector as illustrated in FIG. 11. Fine movement of the grid pattern is impossible, and in the DMD configuration, the x-axis length 4184 of 4 pixels is configured as one line pattern.
  • the fine waveform can be adjusted by controlling the viewpoint of the period of the signal waveform. For example, it is possible to control the period 4142 in which the waveforms of the pixels 4184 on the four x-axis are generated, and as shown in FIG. 12, control of a pixel setting value for moving the sub-lattice pattern to one pixel is shown. It is possible.
  • the line pattern is composed of one
  • at least 2592 pixel x 1000 x 1000/800 usec 3.24 Mhz or more, considering the laser light control and the line light thickness.
  • FIG. 17 is a diagram illustrating signal waveforms and reference grid pattern images of inspection grid patterns of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • a start point 4202, an intermediate point 4203, and an end point 4204 are displayed, which indicates an x-axis start position 4207, an intermediate position 4208, and an end position ( 4209).
  • the total x-axis length 4206 generated during the waveform generation period 4201 is equal to the x-axis resolution of the grid pattern image input to the camera.
  • FIG. 18 is a diagram illustrating signal waveforms and variable magnification grating pattern images of inspection grating patterns of the 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • variable magnification image 5201 shown in FIG. 20 to be described later The 3D accuracy is doubled by the variable magnification image 5201 shown in FIG. 20 to be described later and the variable magnification image 5201 of the magnification target area 5102 enlarged by 2 times in the reference image 5101 of FIG. 19 to be described later.
  • variable magnification image 5201 of the magnification target area 5102 enlarged by 2 times in the reference image 5101 of FIG. 19 to be described later.
  • the start point 4202, the middle point 4203, and the end point of the waveform generation period 4201 using the variable magnification grid patterns 4331, 4332, 4333, 4334, 4335, and 4336. 4204, and the signal waveforms 4311, 4312, 4313, 4314, 4315, and 4316 generated during the waveform generation period 4201 are converted into line light from the intermediate point 4203 of the waveform to be projected onto the object, and the reference image is displayed.
  • Variable magnification grid patterns 4321, 4322, 4323, 4324, 4325, and 4326 of the magnification target area 5102 that are doubled at 5510 are formed.
  • the waveform generated at the intermediate point 4203 of the signal waveform becomes the start point 4207 of the x-axis in the grid pattern image, and at the end point 4204.
  • the generated waveform corresponds to the x-axis ending position 4209 in the grid pattern image.
  • the subdivided grid pattern As an example of projecting the subdivided grid pattern to improve the 3D precision using the variable magnification image, it is projected to the smallest lattice pattern 4262 consisting of the signal waveform 4216 as shown in FIG. 17, and the signal waveform 4316 in FIG.
  • the smallest lattice pattern 4326 constituted by the variable magnification lattice pattern which is further subdivided into ()) is projected.
  • 19 to 22 are views for explaining when a user makes a gesture command to the smart TV.
  • FIG. 19 is a view illustrating an operation of a user of a 3D shape measuring apparatus according to an embodiment of the present invention, raising his right hand and raising his / her head to execute a gesture command.
  • FIG. 20 is a diagram illustrating an example of an image input to a camera by enlarging a partial region of FIG. 19 into a variable magnification image by controlling pan tilt zoom of a 3D shape measuring apparatus according to an exemplary embodiment of the present invention.
  • FIG. 21 is a diagram illustrating an image of a body part displayed on a monitor after 3D measurement by an image processor by receiving an image by inspecting the inspection grid patterns in FIG. 19.
  • FIG. 22 is a diagram illustrating an image of a body part displayed on a monitor after 3D measurement by an image processor by receiving an image by inspecting the inspection grid patterns in FIG. 20.
  • the user's gesture command is "Display the keyboard keyboard on the smart TV screen", and the gesture at this time assumes that the gesture command is performed when the 3D scanner recognizes a posture with the right five fingers extended above the head. Will be explained.
  • the user may control the monitor screen 3604 on the smart TV equipped with the 3D scanner 3603 as shown in FIG. 13 in the 3D shape measuring apparatus according to an embodiment of the present invention.
  • the hand gesture command is performed in the free living room space as shown in FIG. 19, and the distance between the user and the smart TV may be any point of the living room space. It will be described on the assumption that the 3D scanner 3603 is equipped with a program for recognizing a body part and a gesture command for recognizing a user's hand gesture and transmitting the same to a smart TV.
  • the 3D scanner 3603 receives an 2D grid pattern and receives an image processor. After the 3D measurement at 410, the position of the body part of the user's head (5111) and the right hand (5112) is measured.
  • FIG. 21 illustrates that the image processing unit 410 receives the reference image 5101 from the camera in FIG. 19, and the right-handed center coordinate 5313 and the distance of the user's head center coordinate 5311 and the body part position of the right hand region 5312.
  • the user recognizes that the right hand is raised on the user's head, and the image processor 410 sets the magnification target areas (5102, 5302) by using the right hand center coordinate (5313) information for accurate right hand finger recognition.
  • the image control command is transmitted to the signal control means 100.
  • the inspection grid patterns 4231, 4232, 4233, 4234, 4235, and 4236 generated by the inspection grid pattern generator 120 in FIG. 17 are sequentially.
  • the grid pattern projector 3601 emits a grid pattern, and the projected grid patterns 4221, 4222, 4223, 4224, 4225, and 4226 are input as a 2D grid pattern image by the pan tilt zoom camera 3602 and the 3D image is displayed. Make a measurement.
  • FIG. 20 illustrates an image input to the camera by enlarging a partial region of FIG. 19 by controlling the pan tilt zoom.
  • the image and signal control means 100 uses the image magnification and the position information received from the image processor 410 to accurately recognize the right finger 5212 and the head 5211 as shown in FIG. 20.
  • the user's right hand position of FIG. 20 is shown as an enlarged image 5201 of a zoom target area 5102 suitable for finger recognition after controlling the position of the camera with the pan tilt. Is assumed to be located at twice the reference distance and magnified twice.
  • the 3D scanner 3603 receives the 2D grid pattern, performs 3D measurement on the image processor 410, and then measures the position of the body part of the user's head 5211 and the right hand 5212.
  • FIG. 22 illustrates a user's head center coordinate 5111 and a right finger coordinate 5415, 5416, 5417, 5418, and 5419 measured by the image processor 410 in 3D in the image 5401. After measuring the coordinates 5413, the image processor 410 recognizes that the right hand is raised above the center of the head and the right fingers are all spread, and the gesture command "display the keyboard seat on the smart TV screen" is executed.
  • variable magnification grating patterns 4331, 4332, 4333, 4334, 4335, and 4336 irradiated from the image 5401 are sequentially transmitted to the grating pattern projection means, and the waveform generation period is generated by the pattern signal generator 210.
  • the signal waveforms 4311, 4312, 4313, 4314, 4315, and 4316 generated during 4201 and the pattern projection unit are converted into line light, and the grid pattern projector 3601 emits a grid pattern and projects the variable magnification grid pattern 4321.
  • 4322, 4323, 4324, 4325, and 4326 can input 3D images by inputting the 2D grid pattern by the pan tilt zoom camera 3602, thereby improving the 3D measurement accuracy by 2 times.
  • variable magnification image 3803 can be automatically applied to automatically enlarge and store the specific object in real time.
  • An additional function face recognition may be added by projecting the used variable magnification grid pattern onto a specific object.
  • a camera equipped with a zoom lens according to the present embodiment is mounted on a robot arm and an accurate 3 The dimensional shape can be extracted.
  • the present invention can be applied to the field of three-dimensional IC visual inspection for semiconductor electronic components for inspection measurement.
  • FIG. 23 is a diagram for explaining an example of 3D face recognition using a variable magnification image of a 3D shape measuring apparatus according to an embodiment of the present invention.
  • a three-dimensional recognition may be performed by automatically expanding a face of a plurality of visitors by installing a pan tilt zoom camera.
  • one or more partial images 6902 and 6903 may be sequentially enlarged from the reference image 6901, installed in the same field as a security location.
  • the image processing unit 410 receives a 2D grid pattern image for the reference image, performs 3D synthesis, extracts the 3D coordinates for the visitor, and then uses the pan tilt zoom camera to display the face portion regions 6690 and 6903 for the visitor.
  • 3D face recognition may be performed using a variable magnification grid pattern for the enlarged variable magnification images 6904 and 6905 by performing a magnification command.

Abstract

본 발명은 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것으로, 본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부; 기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사격자 패턴부를 포함하는 영상 및 신호제어수단; 상기 검사 격자패턴 정보를 수신하고, 상기 검사 격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부; 상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단; 상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단; 순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및 상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고, 상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며, MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어할 수 있다.

Description

3차원 형상 측정 장치 및 그의 측정 방법
본 발명은 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것으로, 더욱 상세하게는 3차원 형상에 격자패턴의 조사를 통해 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것이다.
종래에 측정하고자 하는 대상물체에 대해 3차원 형상을 측정하는 방법으로 구조화된 조명을 기초로 이를 실시간으로 구현하기 위해 최근 발전된 센서기술을 이용하여 고속 및 고해상도의 패턴 투영기능에 대한 다양한 기법들이 제시되고 있다. 이러한 3차원 측정을 위한 주요조건으로 속도, 정확도, 해상도 및 모듈화가 있다.
주요 공간부호화 3차원(3D) 형상 측정 방법은 다중 2차원(2D) 격자패턴을 순차적으로 입력받아 측정하는 다중샷 방식(multi-shot) 및 하나의 2D 격자패턴을 입력받아 측정하는 단일샷 방식(Sing-shot)으로 분류할 수 있다.
도 1은 종래의 3차원 형상 측정 장치를 설명하기 위한 도면이다. 도 1의 (a)는 종래의 3차원 형상 측정 장치의 개략도이고, 도 1의 (b)는 종래의 검사유형에 따른 격자패턴의 일례를 도시한 도면이다. 그리고 도 1의 (c)는 종래의 검사유형에 따른 격자패턴의 다른 예를 도시한 도면이다.
도 1의 (a)를 참조하면, 종래의 3차원 형상 측정 장치는, 격자패턴 프로젝터(1102) 및 카메라(1101)를 포함한다. 격자패턴 프로젝터(1102)는 측정하고자 하는 대상물체에 격자패턴을 조사하고, 격자패턴과 함께 광을 조사한다. 그에 따라 대상물체에 격자패턴(1103)이 투영된다. 카메라(1101)는 격자패턴(1103)이 투영된 대상물체를 촬영한다. 이렇게 카메라(1101)를 통해 입력된 영상을 분석하여, 대상물체의 3차원 형상을 측정할 수 있다.
상기와 같이, 촬영된 영상을 분석할 때, 검사 유형에 따라 도 1의 (b) 및 도 1의 (c)에 도시된 바와 같이, 다양한 격자패턴이 이용될 수 있는데, 격자패턴은 2D 격자패턴을 부호화하여 3D로 합성할 수 있다.
또한, 실시간 공간상에서 3D 측정을 위해, 광 발산 시, 패턴의 유형을 암호화하는 방법이 있는데, 일례로, 스펙클 패턴유형에서 마이크로렌즈를 이용한 랜덤 스펙클 패턴 방법, DLP(digital light preocessing) 프로젝터를 이용한 격자패턴조사나 일차원 마이크로미러를 이용한 조사 등이 있다.
랜덤 스펙클 패턴 방법은, 광원에서 조사된 광을 확산시키기 위해 마이크로 렌즈를 균일하게 배열하고, 랜덤 스펙클 패턴을 형성하여 패턴을 형성하며, 하나의 2D 격자패턴을 이용하여 손쉽게 3D 좌표를 산출할 수 있다. 하지만, 3D 좌표의 정밀도를 향상하기 위해 영상입력센서의 해상도가 높아져야 하고, 마이크로렌즈를 형성하는 격자필름을 보다 세밀하게 배치하여 정밀도를 향상시키여야 하는 문제가 있다.
그리고 DLP를 이용한 패턴의 조사 방법은 격자패턴의 해상도를 향상시키기 위해 영상입력센서의 해상도를 증가시키고, 2D로 배열된 마이크로미러의 DMD(digital micro-mirror device) 해상도를 보다 세밀하게 배치하여 정밀도를 향상시켜야 한다. 일례로, 마이크로미러의 해상도가 608x684인 장치에서 고해상도 카메라(예컨대, 2592x1944)에서 격자패턴이 입력되면, 한 개의 마이크로미러는 4개의 카메라 픽셀(pixel)에 대응되기 때문에 렌즈를 이용하여 영상을 확대하더라도 격자패턴의 크기도 확대되어, 격자패턴 사이에 있는 카메라 픽셀에 대한 정보의 추출이 쉽지 않다. 그렇기 때문에 이를 위해 주변의 픽셀 값의 정보를 이용하여 추가의 다른 방법을 고려해야 하는 문제가 있다.
상기와 같은 종래의 3차원 형상 측정 장치를 이용하여, 제스처인식, 로봇비전, 생체인식 등에서 공간상의 3차원 정밀도를 향상시키기 위해서는, 보다 세분화된 패턴을 조사할 필요가 있다.
본 발명이 해결하고자 하는 과제는, 제스처인식, 로봇비전, 생체인식 등에서 3차원 정밀도를 향상시키기 위해 세분화된 패턴을 조사하고, 이를 실시간으로 인식할 수 있는 3차원 형상 측정 장치 및 그의 측정 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부; 기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사 격자패턴 발생부를 포함하는 영상 및 신호제어수단; 상기 검사격자패턴 정보를 수신하고, 상기 검사격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부; 상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단; 상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단; 순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및 상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고, 상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며, MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어할 수 있다.
상기 카메라는, 팬 틸트 줌 카메라, 줌 렌즈 카메라, 팬 틸트 카메라, 및 단일렌즈 카메라 중 하나이고, 상기 카메라에 장착된 렌즈는 줌 렌즈 또는 단일 렌즈일 수 있다.
상기 검사 격자패턴은, 기준영상에서 구성된 기준 격자패턴과 동일한 구조의 격자패턴을 상기 기준영상에서 부분 확대된 가변배율 영상에 표시하기 위해 가변배율 격자패턴 및 서브 격자패턴을 산출할 수 있다.
상기 가변배율 영상의 제어는, 상기 대상물체의 측정에 필요한 거리에 대해 상기 가변배율 영상의 확대배율을 기준으로 기준영상의 부분영역에 대한 영상배율을 줌 카메라 또는 팬 틸트 줌 카메라를 이용하여 제어할 수 있다.
상기 가변배율 격자패턴은, 상기 가변배율 영상에서 상기 기준영상의 부분영역에 대한 영상 확대 배율과 비례하는 3차원 정밀도를 산출하기 위해 상기 기준영상과 동일한 구조의 격자패턴 영상을 구성할 수 있도록 상기 기준영상에서 부분영역 좌표값, 영상의 해상도, 확대배율, 파형발생기간 및 기준 격자패턴의 파형발생시점을 이용하여 산출할 수 있다.
상기 최소 격자패턴은, 2D 격자패턴 영상에서 영상처리 기법으로 검출할 수 있는 최소 픽셀 개수로 구성될 수 있다.
상기 서브 격자패턴은, 상기 최소 격자패턴의 이동에 대한 서브 격자패턴의 설정값, 상기 서브 격자패턴의 개수, 신호파형의 시점정보, 영상의 픽셀 분해능 및 상기 라인패턴의 두께를 이용하여 상기 최소 격자패턴을 이용하여 생성할 수 있다.
상기 검사 격자패턴 정보는, 상기 검사 격자패턴 발생부에서 발생된 상기 가변배율 격자패턴 및 서브 격자패턴으로 구성된 검사 격자패턴들을 순차적으로 상기 패턴신호 발생부로 전달하는 정보일 수 있다.
상기 패턴신호 발생부는, 상기 검사 격자패턴을 신호파형으로 변환하여 순차적으로 상기 패턴투영부로 신호를 발생시킬 수 있다.
상기 렌즈는, 레이저 광을 라인광으로 변환하고, 상기 라인광을 일차원 마이크로미러의 표면에 집광시키는 실린더 렌즈일 수 있다.
상기 라인패턴은, 상기 패턴신호 발생부에서 발생된 신호파형이 특정 시점에 제어된 전류에 의해 레이저 광에서 발생된 광의 강도를 제어하여 상기 레이저 광이 렌즈를 통해 최소한의 두께를 가진 라인광이 형성되며, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되어 상기 대상물체에 투영됨에 따라 생성될 수 있다.
상기 2차원 격자패턴은, 상기 일차원 마이크로미러의 회전각도 시점에 신호파형의 유형에 따라 상기 대상물체에 라인광이 조사되어, 회전주기 동안 발생된 라인패턴들이 상기 카메라로부터 2차원 격자패턴 영상을 수신할 수 있다.
상기 팬 틸트 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 외부의 신호에 의해 상기 팬 틸트 줌 카메라 및 영상입력을 제어할 수 있다.
상기 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 팬 틸트 위에 고정된 플레이트를 설치하여 외부의 신호에 의해 상기 줌 카메라 및 영상입력을 제어할 수 있다.
상기 3차원 좌표의 추출은, 검사 격자패턴들을 순차적으로 격자패턴 투영수단에서 발생된 신호파형을 이용하여 상기 대상물체에 격자패턴을 투영하고, 상기 카메라에서 입력된 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 상기 3차원 좌표를 추출할 수 있다.
상기 정보처리수단은, 상기 대상물체에 투영되는 유형별 격자패턴들, 상기 카메라의 초기화 및 제어를 위한 배율 및 좌표 설정, 3차원 측정에 필요한 격자패턴 유형광 검사 격자패턴의 개수 및 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장할 수 있다.
한편, 본 발명의 일 실시예에 따른 3차원 형상 측정 방법은, 대상물체의 3차원 형상을 측정하기 위해 기준영상 및 기준 격자패턴에 대한 3차원 환경을 설정하는 단계; 상기 기준영상에서 부분영상에 대한 배율로 상기 대상물체의 위치에 대해 카메라 배율 및 위치를 제어하고, 상기 대상물체의 3차원 측정에 기준 격자패턴을 이용하여 검사 격자패턴들을 산출하는 영상 및 신호제어 단계; 상기 검사 격자패턴을 신호파형으로 변형하고, 상기 신호파형이 순차적으로 레이저 광을 통해 격자패턴 투영수단에서 격자패턴을 방출하는 단계; 상기 대상물체의 표면에 투영된 격자패턴 영상이 영상입력수단에 포함된 카메라를 통해 입력되는 단계; 상기 입력된 2차원 격자패턴 영상을 3차원 형상 측정을 위한 영상으로 정보처리수단에서 처리하는 단계; 및 상기 3차원 영상을 출력수단에서 디스플레이 하는 단계를 포함할 수 있다.
상기 3차원 환경을 설정하는 단계는, 상기 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체에 대한 확대 배율, 카메라제어에 관련된 데이터를 하는 것을 포함할 수 있다.
상기 영상 및 신호제어수단에서 상기 검사 격자패턴들의 유형 및 개수 선정 단계 후, 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출하는 단계를 더 포함하고, 상기 레이저광을 통해 방출되는 격자패턴은, 산출된 가변배율 격자패턴 및 서브 격자패턴이 순차적으로 반영되어 방출될 수 있다.
상기 가변배율 격자패턴은, 상기 기준영상에서 상기 대상물체의 위치 및 거리 정보를 이용하여 가변배율로 변하는 영상의 비율에 비례하는 3차원 정밀도를 산출하기 위해 가변배율 격자패턴을 계산하여 생성할 수 있다.
상기 서브 격자패턴은, 정밀한 3차원 측정을 위해 상기 신호파형의 시점 정보에 영상의 픽셀 간 이동거리를 시간에 따른 시점정보로 변환하여 상기 2D 격자패턴 영상을 이동하여 생성할 수 있다.
상기 부분영상에 대한 배율의 조정은, 상기 기준영상에서 상기 대상물체의 크기, 위치 및 상기 대상물체까지의 거리정보를 추출하여 상기 기준영상의 부분영역에 대한 영상배율을 조정할 수 있다.
본 발명에 의하면, 일차원 마이크로미러가 포함된 격자패턴 투영장치를 이용하여 물체에 가변배율영상, 가변배율 격자패턴 및 서브격자패턴을 실시간으로 조사하여, 3D 정밀도를 향상시킬 수 있으며, 가변배율영상에서 가변배율 격자패턴을 이용하여 3D 형상의 측정 정밀도를 향상시킬 수 있다.
또한, 본 발명의 3차원 형상 측정 장치는, 제스처 인식에서 영상의 특정 부위를 확대하여 신체부위에 대한 정밀한 측정, 임의 거리에 위치한 사용자에 대한 얼굴 인식, 거리의 변동이 있는 물체에 대한 3D 좌표가 필요한 로봇 비전, 보다 정밀한 격자패턴을 이용한 3D 좌표 추출이 필요한 머신비전 등에서 측정 물체에 대한 정밀 3D 공간좌표 추출이 가능하므로, 기존의 모바일기기나 3D 측정 장치 등 다양한 분야에 적용할 수 있다.
도 1은 종래의 3차원 형상 측정 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 영상 및 신호 제어를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 격자패턴을 위한 신호발생 및 영상 입력을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 평면광 경로도의 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 정면광 경로도의 일례를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 MEMS로 구성된 일차원 마이크로미러의 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 최소 격자패턴 영상에서 부분 영역의 격자 라인패턴의 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴 영상에서 부분 영역의 격자 라인패턴의 일례를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 제스처 인식용 3D 스캐너를 장착한 스마트 티비의 일례를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌 카메라의 일례를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율영상의 실시예를 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 신호파형 및 격자패턴을 도시한 도면이다.
도 17은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사격자패턴들에 대한 신호파형과 기준격자패턴 영상을 도시한 도면이다.
도 18은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사격자패턴들에 대한 신호파형과 가변배율 격자패턴 영상을 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 사용자의 제스처 명령을 실시하기 위한 일례에 대해 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 가변배율 영상으로 확대하여 카메라에 입력되는 영상의 일례를 도시한 도면이다.
도 21은 도 19에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
도 22는 도 20에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상을 이용한 3D 얼굴 인식의 일례를 설명하기 위한 도면이다.
본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명한다.
본 실시예에서 사용되는 '~부' 는 소프트웨어 구성요소들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 등을 포함할 수 있으며, 본 설명에서 "기준 격자패턴", "검사 격자패턴", "가변배율 격자패턴", "최소 격자패턴" 및 "서브 격자패턴" 라는 용어를 사용할 수 있고, 이는 각각 격자패턴에 대한 분류를 지칭한다.
본 설명에서 "일차원 마이크로미러" 및 "마이크로미러"는 "단일축 MEMS 미러", "단일축 마이크로미러" 라는 용어는 동일한 용어로 일차원 MEMS 마이크로미러를 의미한다.
본 설명에서 "모듈레이션 파형" 및 "신호파형"은 동일한 용어로 정보를 전송하기 위해 전기적인 신호로 변환하는 것을 의미한다.
본 설명에서 "기준영상" 및 " 가변배율 영상 " 이라는 용어는 3D 형상의 측정을 위하여 3D 형상 측정 장치를 초기화한 후 설정된 배율로 물체에 입력 받은 영상을 "기준영상"라는 용어를 사용하며, 기준영상에 위치한 부분영역을 팬 틸트 줌(Pan-Tilt-Zoom) 렌즈를 이용하여 확대한 영상을 "가변배율 영상" 라는 용어를 사용한다.
본 설명에서 "기준 격자패턴" 및 "가변배율 격자패턴 " 이라는 용어는 3D측정을 위하여 3D 형상 측정 장치를 초기화한 후 설정된 배율로 기준영상에 격자패턴을 물체에 투영하여 입력 받는 격자패턴을 "기준 격자패턴"라는 용어를 사용하며, 가변배율 영상에 격자패턴을 물체에 투영하여 입력 받는 격자패턴을 " 가변배율 격자패턴 "라는 용어를 사용한다.
본 설명에서 "최소 격자패턴", "서브 격자패턴 " 이라는 용어는 격자패턴 영상을 이용하여 3D측정을 실시에서 검사영상에서 영상처리를 적용하여 추출할 수 있는 최소두께의 격자패턴을 "최소 격자패턴" 라는 용어를 사용하며, 검사영상에서 최소 격자패턴을 미세하게 입력 받은 격자패턴을 "서브 격자패턴"라는 용어를 사용한다.
본 설명에서 "검사 격자패턴" 및 "검사 격자패턴들"라는 용어는 3D측정을 위하여 격자패턴 투영수단에 격자패턴 정보를 전달 시에 영상 및 신호제어수단에서 발생되는 격자패턴으로 "검사 격자패턴"을 2D 격자패턴으로 나타낸 것이며, 하나 이상의 검사 격자패턴으로 구성된 격자패턴을 " 검사 격자패턴들" 라는 용어를 사용한다.
본 실시예에서 가정 사항은 라인 광에 의하여 물체에 투영되는 패턴투영부에서 발생하는 디스플레이는 보정계수에 의하여 보정 되였으며, 3D 측정에 필요한 영상, 조명, 3D 좌표값은 이미 캘리브레이션 되어 있고, 인체에 조사되는 레이저는 안정등급으로 레이저의 광량의 파워는 거리에 따른 증폭이 가능하다.
또한, 팬 틸트 줌 카메라는 기준영상을 기준으로 4배까지 확대가 가능하며, 초기 측정물체에 대한 거리에 따른 배율 및 위치 보정 값은 설정되어 프로그램화 되어 있으며 물체의 3D 측정 및 인식의 알고리듬은 이미 프로그램화 있다고 가정한다.
도 2는 일 실시예에 따른 3차원(3D) 형상 측정 장치를 평면도로 도시한 개략도로서 2차원(2D) 격자패턴을 투영하는 스크린(11)은 3D 측정 시에는 도 19와 같은 물체에 2D 격자패턴영상을 조사한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 영상 및 신호제어수단(100), 격자패턴 투영수단(200), 영상입력수단(300) 및 정보처리수단(400)을 포함한다.
영상 및 신호제어수단(100)은 영상제어부(110) 및 검사 격자패턴 발생부(120)를 포함한다.
영상제어부(110)는, 기준영상에서 부분영상에 대해 배율을 조정하고, 위치에 대한 카메라(310)를 위치를 제어한다. 즉, 3D 형상을 측정할 때, 최초 단계에서 측정 대상물체에 대한 기준영상을 입력받은 다음, 기준영상에서 3D 형상에 대한 측정을 실시하여 측정 대상물에 대한 3차원 위치정보와 영상에서 추출된 부분영역 정보를 이용하여 부분영역 영상의 위치 및 확대배율을 설정하여 카메라(310)를 제어한다.
검사 격자패턴 발생부(120)는, 3D 측정 시 격자패턴 유형과 개수에 대한 정보를 이용하여 측정 대상물체에 대한 3D 형상 합성에 필요한 기준 영상정보를 이용하여 기준 격자패턴을 설정한다. 그리고 기준 영상정보에서 기준 격자패턴 정보 및 3D 형상에 대한 위치정보를 추출하고, 추출된 정보를 이용하여 영상에서 측정 대상물체의 부분영역을 확대한 가변배율 영상에 확대배율에 비례하는 3D 정밀도를 산출할 수 있게 기준 격자패턴과 동일한 구조의 격자패턴을 투영할 수 있는 가변배율 격자패턴을 설정한다.
또한, 최소 격자패턴을 이용하여 정밀한 3D 좌표를 산출하기 위해 최소 격자패턴을 미세하게 이동시키면서 서브 격자패턴을 설정한다. 그리고 측정 대상물체에 대한 3D 영상의 합성에 필요한 가변배율 영상정보를 이용하여 가변배율 격자패턴 및 서브 격자패턴 정보로 구성되는 하나 이상의 검사 격자패턴들을 산출한다. 이에 대한 검사 격자패턴들에 대한 상세한 일례들은 도3의 설명 이전에 후술한다.
격자패턴 투영수단(200)은 패턴신호 발생부(210) 및 패턴투영부(250)를 포함한다.
패턴신호 발생부(210)는 검사 격자패턴을 신호파형으로 변환한다. 패턴신호 발생부(210)는 검사 격자패턴을 파형주기 내에서 신호파형으로 변환하고, 영상입력수단(300)의 카메라(310)에 포함된 영상센서(311)에 영상입력 신호를 발생시키고, 순차적으로 발생된 파형을 패턴투영부(250)에 전송한다.
패턴투영부(250)는 레이저 다이오드(251)의 라인광을 일차원 MEMS 미러에 조사하고, 마이크로미러의 회전각도 시점에서 라인광을 물체에 조사한다. 패턴투영부(250)는 신호파형을 이용하여 전류를 제어하며, 레이저 다이오드(251) 광의 강도를 제어하여 광을 방출한다. 그리고 방출된 광은 라인광 구성렌즈에 의해 라인광으로 변환되어 실린더 렌즈의 의해 마이크로미러의 표면에 집광된다.
일차원 마이크로미러(261)의 공진 시, 라인광 조사 방향 주기(262) 동안 회전각도의 시점 별로 마이크로미러(261)의 표면에서 라인광을 반사하여 측정 대상물체에 투영된다.
일례로, 검사격자패턴에서 발생된 신호파형(211)의 파형기간(212)은 일차원 마이크로미러(261)의 공진 시, 라인광 조사 방향(262)기간과 동일하고, 라인광이 조사되는 방향의 기간(282)과 동일하며, 카메라(310) 영상센서(311)의 노출시간(Exposure time)과 동일하다. 그러므로 라인광의 조사영역(270)에서 파형의 특정시점(213)에서 조사된 라인광의 라인패턴 투영위치 (273)로 하나 이상의 라인패턴으로 구성되는 격자패턴의 집합으로 2D 격자패턴(350)에서 특정위치의 라인패턴(351)로 입력된다.
그리고 도2에서 신호파형(211)은 도 1의 b에서 첫 번째 격자패턴(1205) 이 후술할 도 17에서 검사 격자패턴(4231)과 동일한 경우, 도 17의 신호파형(4211)의 파형 시점(4202)이, 도 2의 라인패턴(271)과 동일할 수 있고, 도 17의 파형 시점(4203)이 도 2의 라인패턴(272)과 동일할 수 있으며, 도 17의 파형 시점(4204)이 도 2의 라인패턴(274)과 동일할 수 있다. 또한, 카메라(310)에 의해 입력된 영상은 도 17의 격자패턴(4221)과 동일할 수 있다.
영상입력수단(300)은 카메라(310)에서 신호파형의 주기 동안 대상물체에 투영되는 라인패턴이 촬영된 2D 격자패턴 영상을 정보처리수단(400)으로 전송한다.
영상입력수단(300)은 카메라(310)에 포함된 영상입력센서(311)에서 투영된 라인 패턴형상을 2D 격자패턴 영상(350)을 입력 받아 영상입력을 완료한다.
이때, 카메라(310)는 팬 틸트 카메라 또는 단일렌즈 카메라 중 어느 하나일 수 있고, 렌즈(320)는 줌렌즈 또는 단일 렌즈일 수 있다.
또한, 격자패턴 프로젝터를 적외선 파장으로 구현하는 경우, 카메라는 가변배율 영상의 제어할 때, 2D 영상이 입력되어 영상의 배율 및 팬 틸트 줌이 이용될 수 있다.
적외선을 파장대역으로 감지하는 팬 틸트 줌 카메라와 가시광선 영역에서 검사물체에 대한 가시광선 영역의 파장대역을 감지하는 팬 틸트 줌 카메라를 평행하게 동기화하여 격자패턴 투영수단(200)에서 소정의 거리를 이격하여 설치할 수 있다. 또는, 가시광선 영역과 가시광선 영역을 동시에 입력받을 수 있고, 팬 틸트 줌으로 구현되는 RGB-IR 카메라를 장착할 수 있으며, 이때 RGB-IR 카메라에 포함되는 RGB-IR 영상입력 센서는 일례로, 옴니비전의 OV4682일 수 있다.
정보처리수단(400)은 영상입력수단(300)에서 전송된 2D 격자패턴 영상을 이용하여 3D 형상 측정을 위한 영상처리를 수행한다. 그리고 영상 처리된 이미지를 출력수단(500)으로 전송한다.
정보처리수단(400)은 도 1의 (b) 또는 도 1의 (c)에 도시된 3차원 형상을 측정하기 위한 유형별 격자패턴들, 카메라 초기화 및 제어에 관련된 배율 및 좌표의 설정, 3D 측정에 필요한 격자패턴 유형과 검사 격자패턴의 개수, 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장하고, 출력수단(500)으로 전송한다.
정보처리수단(400)은 영상처리부(410), 프로세서(450) 및 메모리(460)를 포함할 수 있고, 카메라(310)에서 입력된 2D 격자패턴들을 이용하여 3D 측정에 필요한 3D 영상합성 및 3D 좌표추출에 필요한 알고리즘이 프로그램되어 저장될 수 있다. 이때, 3D 좌표추출의 일례로, 소정의 거리에 이격된 카메라(310)와 일차원 마이크로미러(261)에 대한 좌표점을 기준으로 거리(411)를 이용하여 삼각 측량 원리에 기초하여 3D 좌표(272)에 대한 거리(412)를 산출할 수 있다.
출력수단(500)은 정보처리수단(400)에서 전송된 영상 및 정보를 디스플레이한다.
검사 격자패턴들에 대한 구성의 일례는 다음과 같다.
기준영상에서 가변배율 영상을 구하기 위해 카메라(310)의 제어는, 도 14에 도시된 핀 틸트 줌 카메라(3710)와 같이 영상위치에 대한 팬 틸트 제어(3704, 3705)에 의해 영상에 대한 위치이동 제어 및 줌 제어(3703)를 통해 영상의 확대 및 축소 기능이 추가될 수 있다. 그에 따라 팬 틸트 줌 카메라(3710)는 도 15에 도시된 바와 같이, 초기화된 기준영상(3801)에서 부분영역(3802)에 대한 2D 해상도 및 3D 정밀도를 동일한 배율로 향상시키기 위해 위치 및 배율을 제어하여 가변배율 영상(3803)을 입력받을 수 있다.
기준 격자패턴들은 모듈레이션 파형의 유형, 격자패턴, 격자패턴 영상의 유형들 중 하나로 구성될 수 있으며, 일례로, 도 1의 (b)에 도시된 9개의 격자패턴(1201, 1203)을 64개 격자패턴으로 구분하여 구성될 수 있다. 또한, 도 1의 (c)에 도시된 4개의 격자패턴(1301)을 110개 단계(1302)로 구분하여, 순차적으로 영상을 입력받아 구성될 수 있다.
가변배율 격자패턴은 도 15의 기준영상(3801)에서 구해진 2배로 확대된 가변배율 영상(3803)에 격자패턴을 산출할 수 있으며, 그 일례로, 도 16a에 도시된 기준영상(3801)의 신호파형(4110)을 격자패턴 영상(4120)이라 하면, 가변배율 영상(3803)에서 도 16d에 도시된 바와 같이, 신호파형(4170)을 물체에 투영함으로써, 2배로 향상된 3D 정밀도를 산출할 수 있다.
또한, 가변배율 영상에 대한 측정이 필요하지 않은 경우, 단일렌즈를 장착한 카메라를 이용하여 영상을 입력받을 수 있다.
서브 격자패턴은 최소 격자패턴을 이용하여 정밀한 3D 좌표를 산출할 수 있다. 최소 격자패턴을 미세하게 x축으로 이동시키면서 서브 격자패턴을 설정할 수 있는데, 일례로, 도 1의 (b)의 6번째 최소 격자패턴(1204)에 대한 서브 격자패턴(1203)을 설정한다. 이때, 도 11에 도시된 격자 라인패턴은 최소 격자패턴 영상의 부분영역(3401)에서의 최소 격자패턴(1204)에 대한 일례이다. 그리고 도 12에 도시된 서브 격자패턴은 도 11의 최소 격자패턴 영상의 부분영역(3511, 3521, 3531)을 하나의 픽셀씩 x축 방향으로 이동시킨 서브 격자패턴(3512, 3522, 3532)에 대한 일례이다.
도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 측정 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 사용자의 명령에 의해 측정 대상물체에 대한 3D 형상을 측정이 시작(610)된다.
측정이 시작되면, 3D 형상 측정을 위한 환경설정이 필요(620)한데, 3D 형상 측정이 개시되면, 정보처리수단(400)에서 3D 측정에 관련된 데이터가 메모리에 로드된다. 일례로, 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체의 거리에 대한 확대 배율, 카메라제어에 관련된 데이터, 격자패턴 투영수단의 패턴신호 발생부, 패턴투영부 및 영상입력수단의 카메라의 초기화 및 동기화 등의 환경설정이 수행된다(620).
상기와 같이, 환경설정이 수행된 다음, 영상제어 및 측정 방법의 유형이 선택된다(630).
본 단계는 후술할 도 4에 도시된 흐름도(700)를 따라 수행된다. 영상제어부(110)를 이용한 측정 대상 물체의 3D 측정의 카메라 배율 제어 및 좌표의 설정과 제어, 검사 격자패턴 발생부(120)를 이용한 3D 측정에 필요한 격자패턴 유형과 검사 격자패턴들의 개수(n)를 설정한다. 검사 격자패턴들은 3D 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출한 후, 다음 단계에서 검사 격자패턴을 이용하여 격자패턴을 물체에 투영 후, 2D 격자패턴을 순차적(i=0,1,...n)으로 카메라에 입력된다.
다음 단계(640)로, 검사 격자패턴들이 순차적으로 수행된다(640). 3D 합성에 필요한 2D 격자패턴을 입력받기 위해 영상 및 신호제어수단(100)은 순차적으로 검사 격자패턴(i)을 격자패턴 투영수단(200)에 전달한다(640).
그 다음 단계(650)로, 격자패턴의 신호발생 투영 및 영상입력이 이루어진다(650). 본 단계는 도 5에 도시된 흐름도(800)를 따라 수행된다. 격자패턴 투영수단(200)을 이용하여 검사 격자패턴(i)을 모듈레이션 파형으로 변환 후, 순차적으로 발생되는 파형을 증폭하여 광을 발산하고, 발산된 광을 라인광으로 변형한 다음, 일차원 마이크로미러의 표면에 반사시켜 물체에 투영한다. 그리고 마이크로미러의 회전각도 시점을 이용하여 대상물체에 투영한 후, 카메라(310)에서 2D 격자패턴 영상이 입력된다.
다음 단계(660)는 영상입력완료 단계이다(660). 3D 측정에 필요항 2D 격자패턴 영상의 입력이 완료(i=n)되면, 단계 670을 수행하고, 그렇지 않으면, 검사 격자패턴(i+1)을 입력받기 위해 단계 640을 수행한다.
그리고 다음 단계로, 3D 영상 합성 및 측정단계가 수행된다(670). 본 단계는 카메라(310)로 입력된 2D 격자패턴들이 영상처리부(410)에 전달되고, 영상처리부(410)는 3D 영상을 합성하여 물체에 대한 3D 좌표를 산출하고 출력수단(500)으로 전송하여 디스플레이한다.
다음 단계는, 3D 연속 측정 단계(680)로, 제스처 인식과 같이, 3D 측정을 연속적으로 실시할 필요가 있는 경우, 단계 630을 수행하고, 종료 시 단계 690을 수행한다.
종료 단계(690)는 3D 측정을 종료한다.
도 4는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 영상 및 신호 제어를 설명하기 위한 흐름도이다.
도 4를 참조하여, 도 3에 도시된 영상제어 및 측정 방법의 유형이 선택단계(630)를 좀 더 상세히 설명한다.
시작단계(710)는 대상물체에 대한 영상제어부(110)에서의 3D 측정 영상에 대한 카메라(310)의 배율 및 좌표를 설정하고, 제어한다. 그리고 검사 격자패턴 발생부에서 3D 측정 시 필요한 격자패턴 유형과 격자패턴의 개수를 설정하고, 측정의 정밀도에 필요한 검사 격자패턴들의 가변배율 격자패턴 및 서브 격자패턴을 설정한다.
상기의 단계에서, 설정이 이루어지면, 측정 대상물체에 대한 영상배율을 선정(select)하기 위해 영상처리부(410)에서 측정 대상물체에 대한 3D 좌표 및 가변배율 영상에 대한 정보가 입력된다(720).
그리고 측정 대상물체의 위치에 대해 카메라(310)를 제어하기 위해 영상처리부(410)로부터 영상 내의 측정 대상물체의 위치 및 확대비율 정보가 영상제어부(110)로 입력되며, 영상제어부(110)는 팬 틸트 줌 카메라를 제어하여 측정 대상물체에 대한 부분 확대의 비율을 이용하여 줌 제어 및 측정 대상물체의 위치에 대한 팬 틸트 제어를 수행한다(730).
검사에 필요한 기준 격자패턴의 설정을 위해 3D 측정에 필요한 격자패턴들에 대해 유형과 정밀도를 고려하여, 도 1의 (b) 및 도 1의 (c)에 도시된 검사유형들에 대한 격자패턴 유형과 격자패턴의 개수를 선정한다(740).
다음 단계로, 가변배율 격자패턴을 산출하기 위해, 단계 720에서 선택된 영상배율 정보 및 단계 740에서 선정된 격자패턴 정보를 이용하여 가변배율 영상에서 기준영상과 영상의 동일한 구조의 격자패턴 정보를 투영할 수 있도록 가변배율 격자패턴을 설정한다(750).
일례로, 후술할 도 15에서 기준배율의 기준영상(3801)에서도 16a와 같은 신호파형(4110)을 조사하면 대상물체에 투영되는 격자패턴 영상(4120)이 되고, 동일한 카메라 배율로 도 16d와 같이 신호파형(4170)을 조사하면 대상물체에 투영되는 격자패턴 영상(4180)이 된다.
이때, 도 15의 가변배율 영상(3803)은 기준영상(3801)의 부분영역(3802)를 2배 확대한 것이라고 가정하는 것은 도 17 및 도 18을 참조하여 설명한다.
후술할 도 17 및 도 18과 같은 파형기간에서, 도 17의 검사 격자패턴은 기준영상(3801)에서 기준 격자패턴(4231)으로 신호파형(4211)이 변형되어 격자패턴(4221)을 구성하고, 도 18의 검사 격자패턴은 가변배율 영상(3803)에서 가변배율 격자패턴(4331)으로 신호파형(4311)이 변형되어 가변배율 격자패턴(4321)을 구성한다.
그러므로 가변배율 격자패턴의 설정은 기준영상에서 부분영역 영상에 대한 비율로 산출할 수 있다.
다음 단계(760)로, 서브 격자패턴의 설정이 이루어진다. 최소 격자패턴에서 보다 정밀한 3D 좌표를 산출하기 위해 최소 격자패턴의 픽셀을 설정값을 이용하여 미세하게 x축으로 이동시키면서 격자패턴을 설정한다(760). 일례로, 후술할 도 16e의 신호파형(4180)은 도 11의 최소 격자패턴의 부분영역(3401)에 대한 파형기간(4181)로, 일차원 마이크로미러에 시점정보를 이용하여 발생된 파형(4185)이다.
이때, 도 16e에서 기간(4182)는 도 11에서 예시한 DMD의 하나의 마이크로미러가 투영하는 영상에서 격자패턴의 x축 방향으로 영상에서 4픽셀을 대응하는 경우, DMD의 구조상 최소 격자패턴은 하나의 라인패턴을 이용한 1픽셀의 미세한 이동이 불가능하다. 하지만, 일차원 마이크로미러를 사용한 격자패턴 수단은 도 16e의 신호파형(4185)과 같이 제어하여, 도 1의 (b)에 도시된 서브 격자패턴(1203)과 같이 미세한 파형의 조절을 제어할 수 있는 라인패턴을 구성할 수 있다.
다음 단계로, 종료단계(770)이다. 대상물체에 대한 영상 위치 및 배율을 카메라(310)로 제어한 다음, 3D 영상의 합성에 필요한 기준영상, 기준 격자패턴 정보 및 가변배율 영상정보를 이용하여 가변배율 격자패턴 및 서브 격자패턴으로 산출된 하나 이상의 검사 격자패턴들을 산출한다(770). 그리고 도 3에 도시된 다음 단계(640)가 수행된다.
도 5는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 격자패턴을 위한 신호발생 및 영상 입력을 설명하기 위한 흐름도이다.
도 5를 참조하여, 도 3에 도시된 격자패턴의 신호발생 투영 및 영상입력 단계(650)를 좀 더 상세히 설명한다.
시작 단계(810)는 도 3에 도시된 검사 격자패턴(i)의 순차수행(640), 2D 격자패턴 투영 및 영상입력(650)이 수행되는 단계로, 검사 격자패턴을 격자패턴 투영수단(200)을 사용하여 대상물체에 라인광을 투영한 후, 영상이 입력된다(810).
그리고 다음 단계(815)는, 검사 격자패턴(i)의 신호화, 모듈레이션 파형, 주파수(m)의 설정(815)을 위해 후술할 도 16a 내지 도 16d의 격자패턴 영상(4120, 4140, 4160, 4180) 및 모듈레이션 파형 발생주기(4101)에서 파형(4110, 4130, 4150, 4170)으로 변환할 수 있다. 일례로, 도 1의 (b)의 여섯 번째 격자패턴(1204)은 후술할 도 17의 검사 격자패턴(4236)을 이용하여 신호파형(4216) 및 기준 격자패턴 영상(4226)으로 변환할 수 있다.
다음 단계는, 영상센서 노출시작 단계(825)로, 도 2에 도시된 일차원 마이크로미러의 공진각도(263)에서, 일차원 마이크로미러의 회전각도가 모듈레이션 파형의 시작시점(271)인 시점에서 카메라(310)의 영상입력 신호를 발생한다(825).
그 다음 단계는, 미러 공진 주기의 회전각 시점 별 파형(k)을 발생시키는 단계(830)로, 도 2에 도시된 일차원 마이크로미러의 회전 시 라인광 조사 방향(262)기간 동안 회전각도의 시점 별로 파형을 발생시킨다.
이때, 시점 별 파형발생(k)은 전체 파형발생 기간에 발생하는 파형의 수(m)에 대한 시점 별 파형을 나타낸다. 일례로, 파형의 특정시점(213)에서 발생되는 파형은 일차원 마이크로미러의 회전 시 라인패턴 투영위치(273)와 일치하고, 2D 영상에서 파형의 특정시점에서 라인패턴(351)이 발생한다.
다음 단계는, 파형의 증폭 및 레이저 광을 발산하는 단계이다(835). 본 단계는 패턴신호 발생부(210)에서 시점 별로 발생된 파형에 대한 전류를 제어하여 광의 강도를 제어한다. 본 단계에 대해 후술할 도 16c에 도시된다.
그리고 다음 단계는, 라인광으로 변환하는 단계이다(840). 본 단계는 레이저 다이오드(251)에서 방출된 광이 도 8 및 도 9에 도시된 라인광 구성렌즈(252)에 의해 라인광으로 변환된다.
다음 단계는, 라인광의 미러 반사 단계(850)이다. 본 단계는, 후술할 도 10에 도시된 라인광(3312)으로 변환된 광이 일차원 마이크로미러(3301, 3305)의 회전각도 시점에 따라 마이크로미러의 표면에서 반사되며, 마이크로미러의 표면에서 반사된 라인광(3313, 3314, 3315)은 대상물체에 라인패턴을 투영시킨다.
그 다음 단계(855)는, 대상물체에 라인패턴이 투영됨에 따라 하나 이상으로 구성되는 라인패턴에 의해 격자패턴의 형상이 구성되며, 카메라의 영상입력센서에 입력된다.
다음 단계는, 파형발생이 완료되는 단계이다(860). 본 단계는, 신호파형(211)의 기간 동안 발생되는 주파수(m)의 파형발생이 완료(k=m)되면 단계 865를 수행하고, 완료되지 않았으면 다음 시점(k+1)의 파형발생을 위한 단계 830을 수행한다.
그리고 다음 단계는, 2D 격자패턴 영상센서의 노출이 완료되는 단계이다(865). 본 단계는, 신호파형(211)의 발생기간 동안 발생되며, 물체에 투영된 격자패턴은 카메라의 영상입력센서에 의해 2D 격자패턴이 입력되어 카메라의 영상입력이 완료된다.
그리고 종료 단계(870)를 거쳐 다음 단계인 도 3의 영상입력 완료 단계(660)를 수행한다.
도 6은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
도 6을 참조하면, 가변배율 영상정보를 입력하는 단계(2520)는, 도 3에 도시된 영상제어 및 측정 방법의 유형이 선택(630)됨에 따라 영상처리부(410)에서 부분영역의 가변배율의 확대비율, 물체와 카메라 간의 거리 및 좌표, 검사 격자패턴에 대한 정보가 입력된다.
다음 단계는, 부분 확대영상 정보를 이용한 가변배율 및 위치산출 단계이다(2530). 본 단계의 일례로, 기준영상 정보의 카메라(310)와 영상 중심과의 거리를 이용하여 임의의 물체의 확대배율이 거리에 비례하고, 후수할 도 15에서의 임의의 물체(3804)는 기준영상에 대한 3D 측정에 의해 기준거리의 2배라고 가정하면, 부분영역(3802)의 확대비율은 현재 기준영상(3801)에서 2배로 확대된 가변배율 영상(3803)을 구할 수 있다.
그 다음 단계는, 검사 격자패턴에 대한 가변배율 격자패턴의 산출단계이다(3803). 본 단계는 후술할 도 15의 기준영상(3801)에서 부분영역(3802)의 320 x 240이며, 기준영상(3801)의 해상도는 640 x 480, 부분영역의 시작좌표(3806)가 x = 320, y = 50 이라 가정하면, 후술할, 도 17의 기준영상에 검사 격자패턴으로 사용되는 기준 격자패턴(4231, 4232, 4233, 4234, 4235, 4236)은 후술할, 도 18에서 검사 격자패턴으로 사용되는 가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)으로 변형할 수 있다.
이때, 후술할 도 16d의 가변배율 격자패턴의 파형시점(4113, 4178)은 수학식 1과 같다.
[수학식 1]
Pxsrt = 320, 도 15에서 부분 확대영역 시작 x 좌표(3806)
Pxlen = 640, 도 15에서 기준영상(3801)의 x축 해상도
R = 2, 부분영역(3802)의 확대배율로, 도 15에서 가변배율영상(3803)은 기준영상 (3801)을 2배 확대한 것
Tp, 도 16d에서 파형발생기간(4101)이다.
Tk, 도 16d의 기준 격자패턴의 파형 발생시점(0 < Tk < Tp)
Tsrt, 도 16d와 같이, 신호파형(4170)에서 가변배율 격자패턴의 파형 시작시점(4113)을 의미한다.
Tsrt = Tp x (Pxsrt / Pxlen)
그리고 도 16d의 가변배율 격자패턴의 파형별 시점(4178)은 수학식 2와 같다.
[수학식 2]
Ti, 도 16d에서 가변배율 격자 패턴의 파형별 시점(4178)이다.
Ti = Tsrt + (Tk / R)
만일, 단일렌즈를 장착한 카메라일 경우 기준영상과 부분영역의 시작좌표(3806)의 x 값은 동일하며, Pxsrt = 0, R=1이다.
도 7은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
첫 단계로, 최소 격자패턴 정보의 입력단계이다(2620). 영상처리부(410)는 검사 격자패널에 대한 가변배율 격자패턴에서 추출된 최소 격자패턴의 x축 라인패턴의 영상정보 및 카메라 해상도에 따른 분해능의 픽셀정보를 입력 받는다.
그리고 라인패턴의 두께를 고려하여 서브 격자패턴 산출에 필요한 x축을 이동시켜는 값에 대한 정보를 입력된다. 일례로, 후술할 도 11에서는 최소 격자패턴의 부분영역(3401)의 x축 픽셀 개수가 4이며 서브격자패턴영상은 픽셀을 1개씩 x축으로 이동시키며 산출한다.
다음 단계는, 격자패턴 이동 변위 값 및 서브격자패턴 개수의 산출단계이다(2630). 일례로, 도 11에서 최소 격자패턴의 부분영역(3401)의 x축 픽셀 개수가 4이면 픽셀을 1개씩 x축으로 이동시키면 3개의 서브 격자패턴 영상을 추출할 수 있으며 픽셀에 대한 라인패턴 개수의 산출이 가능하다.
그 다음 단계는, 서브격자패턴의 산출단계이다(2640). 일례로, 도 12와 같이 서브 격자패턴을 1픽셀단위 x축으로 이동하여 3개를 추출한다고 가정을 하면 최소격자패턴의 부분영역(3401)에 대한 라인패턴을 x축으로 픽셀을 1개씩 이동시키면 3개의 서브격자패턴(3511, 3521, 3531)을 추출할 수 있다.
이와 같은 예시는 후술할 도 16e와 같은 방법으로 실시한다.
도 8은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 평면광 경로도의 일례를 도시한 도면이다. 도 9는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 정면광 경로도의 일례를 도시한 도면이다.
도 8, 도 9는 라인광 구성렌즈(252)로서 상기 파형신호가 전류의 증폭에 의하여 방출된 광이 렌즈에 의하여 라인광으로 변화되어 라인패턴으로 형성되는 과정으로, 레이저다이오드(3101)에서 방출된 광은 콜리메이터렌즈(3106)에 의해 평행광으로 변환한 후, 평행광은 실린더렌즈(3102)에 의하여 라인광(3100)으로 변화되며 변화된 라인광(3100)은 실린더렌즈(3103)에 의하여 마이크로미러(3104)에 집광된 후, 반사하여 물체에 라인패턴(3205)을 형성한다.
이와 같은 레이저다이오드(3101)는 가시광선 또는 적외선 영역의 파장대로 구성할 수 있으며, 라인광 경로를 구성하는 렌즈는 하나 이상의 실린더 렌즈(Cylindrical lens)의 조합, 복합 렌즈(Compound lens), DOE(Diffractive Optical Elements) 등의 방법으로 제작할 수 있다.
도 10은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 MEMS로 구성된 일차원 마이크로미러의 일례를 도시한 도면이다.
도 10의 (a)에 도시된 바와 같이, MEMS(micro electro mechanical systems) 일차원 마이크로미러를 도시하며, 마이크로미러(3301)는 하나의 회전축을 중심으로 일정한 각도(3302)로 공진한다.
도 10의 (b)는 마이크로미러(3305)는 측면도로서 라인광(3312)은 공진하는 주기에 발생하는 시점에 따라 마이크로미러(3305) 표면에 반사되어, 반사된 라인광(3313, 3314, 3315)을 물체에 투영한다.
도 11은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 최소 격자패턴 영상에서 부분 영역의 격자패턴의 일례를 도시한 도면이다.
도 11는 영상처리에서 격자패턴을 검출할 수 있는 최소픽셀개수로 이루어진 격자패턴을 도시한 것으로, 일례로, 최소격자패턴을 x축으로 4개의 픽셀(Pixel)로 가정하여 표시한 것이다. 일례로 TI(Texas Instruments)사의 DLP3000의 DMD(digital micro-mirror device)는 마이크로미러의 해상도 608 x 684로 구성되며, 고해상도 카메라 (2592 x 1944)에 격자패턴을 입력 받을 경우, 한 개의 마이크로미러는 x축으로 4개의 영상 픽셀(Pixel)이 대응된다. 또한, 다른 예로는 영상에서 격자패턴을 주변 배경의 노이즈(noise)없이 선명하게 검출을 하기 위해서 사용자가 편의상 임의로 최소격자패턴의 픽셀개수를 지정하는 경우이다.
그러므로 정밀한 3D 측정을 위하여 카메라 해상도에 대응되는 픽셀에 대한 정보를 추출하기 위하여 주변의 픽셀 값의 정보를 이용하여 여러 가지 기법이 적용되고 있으며, 도 11에서는 영상에서 최소격자패턴의 부분영역(3401)을 표시한 것으로서 주변의 검은색(조명 off) 상태를 나타내는 패턴(3404)과 임의의 픽셀(3403)은 밝은 색(조명ON) 및 최소격자패턴을 x축으로 4픽셀(3402)로 가정하여 표시한 것이다.
도 12는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴 영상에서 부분 영역의 격자패턴의 일례를 도시한 도면이다.
서브격자패턴의 일례로, 도 11의 영상에서 최소격자패턴영상의 부분영역(3511, 3521, 3531)에서 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값을 1픽셀로 가정하면, 최소격자패턴(3512, 3522, 3532)을 한 픽셀씩 위치를 미세하게 x 축으로 이동시켜 나타낸 것으로 임의의 픽셀(3513, 3523, 3533)위치에 대한 밝기(밝은 색-조명ON, 검은색-조명OFF, 검은색-조명OFF) 는 변화된다.
도 13은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 제스처 인식용 3D 스캐너를 장착한 스마트 티비의 일례를 도시한 도면이다.
도13는 제스처인식용 3D 스캐너를 장착한 스마트 TV의 일례로, 스마트 TV(3604)에 장착된 제스처인식용 3D 스캐너(3603)는 본 실시의 격자패턴 프로젝터(3601)와 팬 틸트 줌 카메라(3602)를 내장하고 있다.
도 14a는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌 카메라의 일례를 도시한 도면이다.
도 14a는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라의 일례로, 팬 틸트 줌 카메라(3710)는 영상입력센서 (3701), 렌즈(3702)로 구성된 줌렌즈(3703), 팬 구동장치(3704), 틸트 구동장치(3705)를 내장하고 있으며 외부의 신호에 의하여 팬 틸트 줌 및 영상입력을 제어한다.
그리고 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 예로서는 도 14b, 도 14c와 같이 구성할 수 있다.
도 14b는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 일례를 도시한 도면이다.
고정된 플레트(3905) 위에 줌렌즈(3903), 카메라(3901), 팬틸트 구동장치(3902)를 설치하고, 소정의 거리를 이격하여 패턴투영부(3904)를 장착하여 외부의 신호에 의하여 팬 틸트 줌 및 영상입력을 제어한다.
도 14c는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 다른 예를 도시한 도면이다.
고정된 플레트(3905) 위에 줌렌즈(3903), 카메라(3901)를 설치하여 줌렌즈를 제어하고, 소정의 거리를 이격하여 패턴투영부(3904)를 장착한 후, 고정된 플레트(3905)를 팬 틸트 구동장치(3902)에 의하여 제어한다.
도 15는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상의 일례를 도시한 도면이다.
도 15는 가변배율영상(3803)의 실시의 일례로, 기준영상 (3801)에서 부분영역(3802)을 확대한 영상으로 영상 및 신호제어수단(100)에서 기준영상에 대한 검사격자패턴들을 입력 받아 3D합성을 한 후, 물체(3804)에 대한 3D 좌표를 추출하여 팬 틸트 줌 카메라를 이용하여 부분영역 (3802)에 대한 2배의 확대명령을 수행하여 입력 받은 가변배율영상(3803)이다.
도 16은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 신호파형 및 격자패턴을 도시한 도면이다.
도 16a는 실시예에 따른 신호파형 및 격자패턴의 변환의 일례로, 도 2의 패턴신호 발생부 (210)에서 발생한 신호파형을 이용하여 레이저다이오드의 광을 라인광으로 변환한 후, 일차원 마이크로미러의 회전각에 따라 스크린에 조사되는 라인패턴을 도시한 일례로, 파형발생기간 (4101)은 카메라의 노출시간(Exposure time)과 동기화 되어 있으며, 파형발생기간(4101) 동안 발생하는 2D 격자패턴영상(4120, 4140, 4160, 4180)은 검사격자패턴들이 파형발생기간(4101) 동안에 시점별로 발생하는 파형은 2D 격자패턴영상에서 x축 영상의 길이(4102) 및 밝기의 변화 상태로 발생한다.
도 16a에서 신호파형(4110)은 파형발생기간(4111) 동안 레이저광의 조명 OFF시에는 스크린에 조사되는 격자패턴은 파형발생기간(4111)에 비례하여 검은색 격자패턴(4123)을 x축 길이 (4121)로 발생한다. 그리고 파형발생기간(4112) 동안 레이저광의 조명 ON시에는 스크린에 조사되는 격자패턴은 파형발생기간(4112)에 비례하여 흰색 격자패턴(4124)을 x축 길이 (4122)로 발생되어 카메라는 2D 격자패턴영상(4120)을 입력 받는다.
도 16b는 신호파형(4130)에서는 파형의 시간을 제어하여 격자패턴영상의 x축 길이를 제어하는 일례로, 파형기간(4131)의 레이저광의 조명 ON시에는 스크린에 조사되는 격자패턴은 파형발생기간(4131)에 비례하며, 흰색 격자패턴(4142)은 x축 길이 (4141)로 발생되어 2D 격자패턴영상(4140)을 입력 받는다.
도 16c는 신호파형(4150)에서는 파형의 시간 및 전류값를 제어하여 스크린에 투영되는 격자패턴의 밝기와 x축 길이를 제어하는 예시이다.
파형발생기간(4101) 동안 신호파형(4150)이 전류레벨(4151, 4152, 4153)에 따라 변화될 경우 파형발생기간(4156)의 시점에서의 전류값으로 레이저광의 강도가 조절되며, 일례로, 격자패턴은 전류레벨(4156) 및 파형발생기간(4155) 비례하여 도시한 x축 길이(4161)와 밝기(4162)의 값을 갖는 격자패턴이 발생되어 카메라는 2D 격자패턴영상(4160)을 입력 받는다.
도 16d는 가변배율영상 및 가변배율 격자패턴을 나타내며, 도 15와 같은 기준영상(3801)에 도 16a와 같은 신호파형(4110)을 조사할 경우 도 16a의 격자패턴영상(4120)을 투영한다. 도 16d와 같은 신호파형(4170)을 조사할 경우 기준배율에서는 측정물체에 투영되는 격자패턴영상(4180)을 투영한다.
파형기간(4171)에는 격자패턴은 검은색 (4175), x축 길이(4173)가 투영되며, 파형기간(4172)에는 격자패턴은 밝은색 (4176), x축 길이(4174)가 투영되어 기준배율로 카메라에 입력된다.
그러나 도 15의 부분영역(3802)에 대한 물체를 확대하여 나타난 가변배율영상(3803)에 신호파형(4170)이 조사되는 경우에는 도 16a의 격자패턴영상(4120)와 동일한 구조의 격자패턴 영상을 투영할 수 있으며, 이와 같이 가변배율 격자패턴은 기준영상에서 부분영역의 위치 및 확대비율을 이용하여 산출할 수 있으며, 가변배율 격자패턴은 신호파형으로 변환이 가능하다.
도 16e는 일차원 마이크로미러 주기 중에서 임의의 기간 중에 발생하는 최소격자패턴 구간에서 발생하는 신호파형의 정밀도를 나타낸 일례이다. 정밀한 격자패턴영상을 투영하기 위하여 최소격자패턴을 미세하게 x축으로 이동시키면서 서브격자패턴을 설정하는 것으로서, 신호파형(4190)은 도 11의 최소격자패턴의 부분영역 (3401)의 파형기간(4181)에 발생되는 파형의 예로서, 신호파형(4185)에 있어서 파형의 길이(4187)는 1개의 픽셀에 대한 파형의 시간 및 파형의 개수를 나타내며, 하나의 파형은 하나의 라인패턴을 나타낸다.
이때, 도 16e에서 기간(4182)은 도 11에서 예시한 바와 같이 DLP 프로젝터에서 DMD의 하나의 마이크로미러가 투영하는 최소격자패턴의 4픽셀의 x축 길이(4184)라 할 경우, DMD의 구조상 최소격자패턴의 미세한 이동은 불가능하며 DMD 구성 시에는 4 픽셀의 x축 길이(4184)는 하나의 라인패턴으로 구성된다.
하지만, 본 실시예에 따른 일차원 마이크로미러를 사용한 격자패턴투영수단에서는 도 16e에서 파형(4185)과 같이, 신호파형의 주기에 대한 시점을 제어하여 미세한 파형의 조절도 가능하다. 일례로, 4개의 x축의 픽셀(4184)에 대한 파형이 발생하는 기간(4182)에 대한 제어가 가능하며, 도시된 도 12와 같이 1픽셀로 서브격자패턴을 이동시키는 픽셀의 설정값의 제어가 가능하다.
이와 더불어 일차원 마이크로미러의 주기 500hz로 회전주기에 노출시간(Exposure time) 800usec 동안에 고해상도의 카메라 (2592 x 1944)에 x축으로 격자패턴영상을 투영할 경우로 가정하면, 라인패턴의 구성을 하나의 픽셀에 조사하는 시간으로 레이저광을 구성 시에는 최소 2592 pixel x 1000 x 1000 / 800 usec = 3.24 Mhz 이상으로 레이저광의 제어 및 라인광의 두께를 고려하여 구성 한다.
대부분의 레이저다이오드는 특성상 빠른 반응속도로 수백 Mhz 이상으로 제어가 가능하며, 라인광을 정밀하게 제어하면 최소격자패턴을 미세 조정하는 라인패턴으로 구성되는 서브격자패턴의 제어가 가능하다.
도 17은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사 격자패턴들에 대한 신호파형과 기준 격자패턴 영상을 도시한 도면이다.
패턴신호 발생부(210)에서 검사격자패턴들(4231, 4232, 4233, 4234, 4235, 4236)을 이용하여 파형발생기간(4201) 동안에 발생한 신호파형(4211, 4212, 4213, 4214, 4215, 4216)은 패턴투영부에서 라인광으로 변환되어 격자패턴(4221, 4222, 4223, 4224, 4225, 4226)을 물체에 투영한다. 파형발생기간(4201)에서는 시작시점(4202), 중간시점(4203), 종료시점(4204)을 표시되며, 이는 격자패턴영상의 x축 시작위치(4207), 중간위치(4208), 종료위치(4209)와 대응된다. 그리고 파형발생기간 (4201) 동안에 발생되는 전체 x축 길이(4206)는 카메라에 입력된 격자패턴영상의 x축 해상도와 같다.
도 18은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사 격자패턴들에 대한 신호파형과 가변배율 격자패턴 영상을 도시한 도면이다.
후술할 도 20에 도시된 가변배율영상(5201)과, 후술할 도 19의 기준영상(5101)에서 2배로 확대된 확대대상영역(5102)의 가변배율영상(5201)으로 3D 정밀도를 2배 향상시키기 위하여 도 18의 파형을 투영하면 다음과 같다.
가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)을 이용하여 패턴신호발생부(210)에서 파형발생기간(4201)에서 시작시점(4202), 중간시점(4203), 종료시점 (4204)을 표시되며, 파형발생기간 (4201)에 발생되는 신호파형(4311, 4312, 4313, 4314, 4315, 4316)은 파형의 중간시점(4203)부터 라인광으로 변환되어 물체에 투영되어 기준영상(5101)에서 2배로 확대된 확대대상영역(5102)의 가변배율 격자패턴(4321, 4322, 4323, 4324, 4325, 4326)을 형성한다.
도 18과 같이 기준영상(5101)에서 2배 확대된 격자패턴영상에서는 신호파형의 중간시점(4203)에서 발생한 파형은 격자패턴영상에서 x축 시작위치(4207)가 되며, 종료시점 (4204)에서 발생한 파형은 격자패턴영상에서 x축 종료위치 (4209)와 대응 된다.
그러므로 가변배율영상을 이용한 3D 정밀도를 향상하기 위하여 세분화된 격자패턴을 투영하는 예로서, 도 17과 같은 신호파형(4216)으로 이루어진 최소격자패턴(4226)으로 투영되며, 도 18에서는 신호파형(4316)으로 보다 세분화된 가변배율 격자패턴으로 구성되는 최소격자패턴(4326)을 투영된다.
도 19 내지 도 22는 사용자가 스마트 TV에 제스처 명령을 하였을 때에 대해 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 사용자가 제스처 명령을 실시하기 위하여 오른손을 펴고 머리위로 올린 동작을 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 가변배율 영상으로 확대하여 카메라에 입력되는 영상의 일례를 도시한 도면이다.
도 21은 도 19에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
도 22는 도 20에서 검사 격자패턴들을 조사하여 영상을 입력 받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
본 일례에서, 사용자의 제스처 명령은 "스마트 TV 화면에 키보드 자판을 표시하라"이고, 이때의 제스처는 머리 위에서 오른쪽 다섯 손가락이 모두 펴진 자세를 3D 스캐너가 인지하는 경우, 제스처 명령이 수행되는 것을 가정하여 설명한다.
사용자는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치를 도 13과 같이, 3D 스캐너(3603)가 장착된 스마트 TV에서 모니터 화면(3604)을 제어할 수 있다. 이때, 도 19와 같이 자유스러운 거실 공간에서 손 제스처 명령의 수행을 실시하고 있으며, 사용자와 스마트 TV와의 거리는 거실 공간 임의의 지점일 수 있다. 3D스캐너(3603)에는 사용자의 손동작 제스처 인식을 위한 신체부위 및 제스처 명령을 인지하여 스마트 TV에 전달하는 프로그램이 장착된 것을 가정하여 설명한다.
도 19를 참조하면, 기준영상(5101)에서는 사용자가 제스처 명령 수행을 위하여 오른손(5112)을 머리(5111)위로 올린 동작을 실시할 경우, 3D스캐너(3603)는 2D 격자패턴을 입력 받아 영상처리부(410)에서 3D 측정을 한 후, 사용자의 머리(5111)와 오른손(5112)의 신체부위 위치를 측정을 실시한다.
도 21은 도 19에서 기준영상(5101)을 카메라로부터 입력 받아 영상처리부(410)에서는 사용자의 머리중심좌표(5311)와 오른손영역(5312)의 신체부위 위치의 오른손중심좌표(5313) 및 거리를 측정한 후, 사용자의 머리 위에 오른손이 올라감을 인지하고, 정밀한 오른손손가락 인식을 위하여 영상처리부(410)에서는 오른손중심좌표(5313)정보를 이용하여 확대대상영역(5102, 5302)을 설정하여 영상 및 신호제어수단(100)에 영상의 확대명령을 전달한다.
상기 도 19의 영상(5101)에서 조사되는 격자패턴들의 일례로, 도 17에서 검사 격자패턴 발생부(120)에서 발생된 검사격자패턴들(4231, 4232, 4233, 4234, 4235, 4236)을 순차적으로 격자패턴투영수단에 전달하며, 패턴신호 발생부(210)에서 파형발생기간(4201) 동안에 발생한 신호파형(4211, 4212, 4213, 4214, 4215, 4216) 및 패턴투영부에서 라인광으로 변환되어 격자패턴 프로젝터(3601)에서는 격자패턴을 방출하며, 투영된 격자패턴(4221, 4222, 4223, 4224, 4225, 4226)은 팬 틸트 줌 카메라(3602)에 의하여 2D 격자패턴영상으로 입력 받아 3D 영상의 측정을 실시한다.
도 20은 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 확대하여 카메라에 입력되는 영상을 도시한 것이다. 영상 및 신호제어수단(100)에는 영상처리부(410)에서 입력 받은 영상배율 및 위치정보를 이용하여 도 20과 같이 오른손가락(5212), 머리(5211)의 정확한 인식을 수행하기 위해, 사용자의 위치로 카메라를 팬 틸트를 위치를 제어한 후, 렌즈의 줌을 이용하여 손가락인식에 적합한 확대대상영역 (5102)을 도 20과 같이 확대를 실시한 영상(5201)으로 도시된 도 20의 사용자의 오른손위치는 기준거리의 2배에 위치하여 2배로 확대한 영상으로 가정한다.
3D스캐너(3603)는 2D 격자패턴을 입력 받아 영상처리부(410)에서 3D 측정을 한 후, 사용자의 머리(5211)와 오른손(5212)의 신체부위 위치를 측정을 실시한다.
도 22는 영상(5401)에서는 영상처리부(410)에서 3D로 측정된 사용자의 머리중심좌표(5411)와 오른손영역(5412)의 오른손가락좌표(5415, 5416, 5417, 5418, 5419) 및 오른손중심좌표 (5413)를 측정한 후, 영상처리부(410)에서는 오른손이 머리중심보다 올라감 및 오른손가락이 5개가 모두 펴짐을 인식하고 제스처 명령 "스마트 TV 화면에 키보드 좌판을 표시하라"를 실시한다.
상기 도 18에서는 영상(5401)에서 조사되는 가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)을 순차적으로 격자패턴투영수단에 전달하며, 패턴신호 발생부(210)에서 파형발생기간(4201) 동안에 발생한 신호파형(4311, 4312, 4313, 4314, 4315, 4316) 및 패턴투영부에서 라인광으로 변환되어 격자패턴 프로젝터(3601)에서는 격자패턴을 방출하며 투영된 가변배율 격자패턴(4321, 4322, 4323, 4324, 4325, 4326)은 팬 틸트 줌 카메라(3602)에 의하여 2D 격자패턴으로 입력 받아 3D영상을 합성할 수 있으므로 3D 측정정밀도를 2배로 향상시킬 수 있다.
다른 예로, 도 15에 도시된 영상의 위치 및 가변배율영상을 이용한 예를 설명한다.
슈퍼마켓이나 지하주차장 등의 보안관련 장소에서 카메라를 장착하는 감시분야에서 모든 영역을 기준영상(3801)으로 축소된 영상으로 감시하기에는 무리가 있다. 본 실시의 예를 이용하여 특정물체(3804)가 출현 시 물체와의 거리 및 위치좌표를 추출한 후에 가변배율영상(3803) 기능을 자동적으로 적용하여 특정물체에 대한 실시간 자동 확대 및 저장할 수 있으며, 이를 이용한 가변배율 격자패턴을 특정물체에 투영하여 부가적인 기능(얼굴인식)을 추가할 수도 있다.
또한, 또 다른 예로, 로봇비전에서 물체와 카메라의 거리가 변동되는 환경에서 본 실시예에 따른 줌 렌즈를 장착한 카메라를 로봇 암에 장착하여 거리에 따른 가변배율영상을 이용하여 물체에 대한 정확한 3차원 형상을 추출할 수 있다.
그리고 또한, 검사의 3차원 검사 정밀도를 향상시키기 위하여 본 실시예에 따른 단일 렌즈를 장착한 카메라를 이용하여 기준 격자패턴 및 서브 격자패턴을 물체에 투영하여 미세한 3차원 형상을 추출할 수 있다. 일례로, 검사계측의 반도체 전자부품에 대한 3차원 IC 외관검사 분야에 적용할 수 있다.
도 23은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상을 이용한 3D 얼굴 인식의 일례를 설명하기 위한 도면이다.
보안이 필요한 장소에 외부 침입자에 대한 얼굴인식 실시예로 팬 틸트 줌 카메라를 장착하여 다수의 방문자에 대한 얼굴을 자동적으로 확대하여 3차원인식을 실시할 수 있다. 도 23을 참조하면, 보안장소와 같은 분야에 설치되어 기준영상(6901)에서 하나이상의 부분영상(6902, 6903)을 순차적으로 확대할 수 있다.
영상처리부(410)에서 기준영상에 대한 2D격자패턴영상을 입력 받아 3D합성을 한 후, 방문자에 대한 3D 좌표를 추출하여 팬 틸트 줌 카메라를 이용하여 방문자에 대한 얼굴부분영역(6902, 6903)에 대한 확대명령을 수행하여 확대된 가변배율영상(6904, 6905)에 대한 가변배율 격자패턴을 사용하여 3차원 얼굴인식을 할 수 있다.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.

Claims (22)

  1. 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부;
    기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사 격자패턴 발생부를 포함하는 영상 및 신호제어수단;
    상기 검사격자패턴 정보를 수신하고, 상기 검사격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부;
    상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단;
    상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단;
    순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및
    상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고,
    상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며,
    MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어하는 3차원 형상 측정 장치.
  2. 청구항 1에 있어서,
    상기 카메라는, 팬 틸트 줌 카메라, 줌 렌즈 카메라, 팬 틸트 카메라, 및 단일렌즈 카메라 중 하나이고,
    상기 카메라에 장착된 렌즈는 줌 렌즈 또는 단일 렌즈인 3차원 형상 측정 장치.
  3. 청구항 1에 있어서,
    상기 검사 격자패턴은, 기준영상에서 구성된 기준 격자패턴과 동일한 구조의 격자패턴을 상기 기준영상에서 부분 확대된 가변배율 영상에 표시하기 위해 가변배율 격자패턴 및 서브 격자패턴을 산출하는 3차원 형상 측정 장치.
  4. 청구항 3에 있어서,
    상기 가변배율 영상의 제어는, 상기 대상물체의 측정에 필요한 거리에 대해 상기 가변배율 영상의 확대배율을 기준으로 기준영상의 부분영역에 대한 영상배율을 줌 카메라 또는 팬 틸트 줌 카메라를 이용하여 제어하는 3차원 형상 측정 장치.
  5. 청구항 4에 있어서,
    상기 가변배율 격자패턴은, 상기 가변배율 영상에서 상기 기준영상의 부분영역에 대한 영상 확대 배율과 비례하는 3차원 정밀도를 산출하기 위해 상기 기준영상과 동일한 구조의 격자패턴 영상을 구성할 수 있도록 상기 기준영상에서 부분영역 좌표값, 영상의 해상도, 확대배율, 파형발생기간 및 기준 격자패턴의 파형발생시점을 이용하여 산출하는 3차원 형상 측정 장치.
  6. 청구항 1에 있어서,
    상기 최소 격자패턴은, 2D 격자패턴 영상에서 영상처리 기법으로 검출할 수 있는 최소 픽셀 개수로 구성된 격자패턴인 3차원 형상 측정 장치.
  7. 청구항 1에 있어서,
    상기 서브 격자패턴은, 상기 최소 격자패턴의 이동에 대한 서브 격자패턴의 설정값, 상기 서브 격자패턴의 개수, 신호파형의 시점정보, 영상의 픽셀 분해능 및 상기 라인패턴의 두께를 이용하여 상기 최소 격자패턴을 이용하여 생성하는 3차원 형상 측정 장치.
  8. 청구항 1에 있어서,
    상기 검사 격자패턴 정보는, 상기 검사 격자패턴 발생부에서 발생된 상기 가변배율 격자패턴 및 서브 격자패턴으로 구성된 검사 격자패턴들을 순차적으로 상기 패턴신호 발생부로 전달하는 정보인 3차원 형상 측정 장치.
  9. 청구항 1에 있어서,
    상기 패턴신호 발생부는, 상기 검사 격자패턴을 신호파형으로 변환하여 순차적으로 상기 패턴투영부로 신호를 발생시키는 3차원 형상 측정 장치.
  10. 청구항 1에 있어서,
    상기 렌즈는, 레이저 광을 라인광으로 변환하고, 상기 라인광을 일차원 마이크로미러의 표면에 집광시키는 실린더 렌즈인 3차원 형상 측정 장치.
  11. 청구항 1에 있어서,
    상기 라인패턴은, 상기 패턴신호 발생부에서 발생된 신호파형이 특정 시점에 제어된 전류에 의해 레이저 광에서 발생된 광의 강도를 제어하여 상기 레이저 광이 렌즈를 통해 최소한의 두께를 가진 라인광이 형성되며, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되어 상기 대상물체에 투영됨에 따라 생성된 3차원 형상 측정 장치.
  12. 청구항 1에 있어서,
    상기 2차원 격자패턴은, 상기 일차원 마이크로미러의 회전각도 시점에 신호파형의 유형에 따라 상기 대상물체에 라인광이 조사되어, 회전주기 동안 발생된 라인패턴들이 상기 카메라로부터 2차원 격자패턴 영상을 수신하는 3차원 형상 측정 장치.
  13. 청구항 2에 있어서,
    상기 팬 틸트 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 외부의 신호에 의해 상기 팬 틸트 줌 카메라 및 영상입력을 제어하는 3차원 형상 측정 장치.
  14. 청구항 2에 있어서,
    상기 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 팬 틸트 위에 고정된 플레이트를 설치하여 외부의 신호에 의해 상기 줌 카메라 및 영상입력을 제어하는 3차원 형상 측정 장치.
  15. 청구항 1에 있어서,
    상기 3차원 좌표의 추출은, 검사 격자패턴들을 순차적으로 격자패턴 투영수단에서 발생된 신호파형을 이용하여 상기 대상물체에 격자패턴을 투영하고, 상기 카메라에서 입력된 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 상기 3차원 좌표를 추출하는 3차원 형상 측정 장치.
  16. 청구항 1에 있어서,
    상기 정보처리수단은, 상기 대상물체에 투영되는 유형별 격자패턴들, 상기 카메라의 초기화 및 제어를 위한 배율 및 좌표 설정, 3차원 측정에 필요한 격자패턴 유형광 검사 격자패턴의 개수 및 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장하는 3차원 형상 측정 장치.
  17. 대상물체의 3차원 형상을 측정하기 위해 기준영상 및 기준 격자패턴에 대한 3차원 환경을 설정하는 단계;
    상기 기준영상에서 부분영상에 대한 배율로 상기 대상물체의 위치에 대해 카메라 배율 및 위치를 제어하고, 상기 대상물체의 3차원 측정에 기준 격자패턴을 이용하여 검사 격자패턴들을 산출하는 영상 및 신호제어 단계;
    상기 검사 격자패턴을 신호파형으로 변형하고, 상기 신호파형이 순차적으로 레이저 광을 통해 격자패턴 투영수단에서 격자패턴을 방출하는 단계;
    상기 대상물체의 표면에 투영된 격자패턴 영상이 영상입력수단에 포함된 카메라를 통해 입력되는 단계;
    상기 입력된 2차원 격자패턴 영상을 3차원 형상 측정을 위한 영상으로 정보처리수단에서 처리하는 단계; 및
    상기 3차원 영상을 출력수단에서 디스플레이 하는 단계를 포함하는 3차원 형상 측정 방법.
  18. 청구항 17에 있어서,
    상기 3차원 환경을 설정하는 단계는, 상기 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체에 대한 확대 배율, 카메라제어에 관련된 데이터를 하는 것을 포함하는 3차원 형상 측정 방법.
  19. 청구항 17에 있어서,
    상기 영상 및 신호제어수단에서 상기 검사 격자패턴들의 유형 및 개수 선정 단계 후, 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출하는 단계를 더 포함하고,
    상기 레이저광을 통해 방출되는 격자패턴은, 산출된 가변배율 격자패턴 및 서브 격자패턴이 순차적으로 반영되어 방출되는 3차원 형상 측정 방법.
  20. 청구항 19에 있어서,
    상기 가변배율 격자패턴은, 상기 기준영상에서 상기 대상물체의 위치 및 거리 정보를 이용하여 가변배율로 변하는 영상의 비율에 비례하는 3차원 정밀도를 산출하기 위해 가변배율 격자패턴을 계산하여 생성하는 3차원 형상 측정 방법.
  21. 청구항 19에 있어서,
    상기 서브 격자패턴은, 정밀한 3차원 측정을 위해 상기 신호파형의 시점 정보에 영상의 픽셀 간 이동거리를 시간에 따른 시점정보로 변환하여 상기 2D 격자패턴 영상을 이동하여 생성하는 3차원 형상 측정 방법.
  22. 청구항 19에 있어서,
    상기 부분영상에 대한 배율의 조정은, 상기 기준영상에서 상기 대상물체의 크기, 위치 및 상기 대상물체까지의 거리정보를 추출하여 상기 기준영상의 부분영역에 대한 영상배율을 조정하는 3차원 형상 측정 방법.
PCT/KR2017/010667 2016-10-04 2017-09-27 3차원 형상 측정 장치 및 그의 측정 방법 WO2018066868A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0127505 2016-10-04
KR1020160127505A KR101824888B1 (ko) 2016-10-04 2016-10-04 3차원 형상 측정 장치 및 그의 측정 방법

Publications (1)

Publication Number Publication Date
WO2018066868A1 true WO2018066868A1 (ko) 2018-04-12

Family

ID=61223229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010667 WO2018066868A1 (ko) 2016-10-04 2017-09-27 3차원 형상 측정 장치 및 그의 측정 방법

Country Status (2)

Country Link
KR (1) KR101824888B1 (ko)
WO (1) WO2018066868A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113383207A (zh) * 2018-10-04 2021-09-10 杜·普雷兹·伊萨克 光学表面编码器
CN113465545A (zh) * 2021-06-30 2021-10-01 北京航空航天大学 一种基于高速led阵列的三维测量系统及其测量方法
WO2022052141A1 (zh) * 2020-09-11 2022-03-17 梅卡曼德（北京）机器人科技有限公司 一种用于成像扫描信号同步的调制方法、装置及系统
CN115165920A (zh) * 2022-09-06 2022-10-11 南昌昂坤半导体设备有限公司 一种三维缺陷检测方法及检测设备
US20230003512A1 (en) * 2021-06-17 2023-01-05 Universität Stuttgart Measuring Device and Method of Determining a Depth of Field of an Optical Setup

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444331B1 (en) 2018-06-19 2019-10-15 Namuga Co., Ltd 3D camera system and method for detecting abnormal state of beam projector module for eye protection
KR102053935B1 (ko) * 2018-09-12 2019-12-11 주식회사 나무가 빔프로젝터모듈의 광학장치에서의 크랙을 탐지하는 시스템 및 방법
CN110220481B (zh) * 2019-05-09 2020-06-26 易思维（杭州）科技有限公司 手持式视觉检测设备及其位姿检测方法
KR102289077B1 (ko) * 2020-03-17 2021-08-11 주식회사 포스코 회전롤의 표면 흠 탐상장치 및 탐상방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05248831A (ja) * 1992-03-03 1993-09-28 Koyo Seiko Co Ltd ３次元形状測定装置
KR20120098131A (ko) * 2011-02-28 2012-09-05 이경자 격자패턴투영장치
JP2014219301A (ja) * 2013-05-09 2014-11-20 株式会社島津製作所 外観検査装置及び外観検査方法
KR101562467B1 (ko) * 2014-06-03 2015-10-23 인하대학교 산학협력단 스마트 폰을 이용한 3차원 형상 측정 장치
KR101628158B1 (ko) * 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05248831A (ja) * 1992-03-03 1993-09-28 Koyo Seiko Co Ltd ３次元形状測定装置
KR20120098131A (ko) * 2011-02-28 2012-09-05 이경자 격자패턴투영장치
JP2014219301A (ja) * 2013-05-09 2014-11-20 株式会社島津製作所 外観検査装置及び外観検査方法
KR101562467B1 (ko) * 2014-06-03 2015-10-23 인하대학교 산학협력단 스마트 폰을 이용한 3차원 형상 측정 장치
KR101628158B1 (ko) * 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113383207A (zh) * 2018-10-04 2021-09-10 杜·普雷兹·伊萨克 光学表面编码器
WO2022052141A1 (zh) * 2020-09-11 2022-03-17 梅卡曼德（北京）机器人科技有限公司 一种用于成像扫描信号同步的调制方法、装置及系统
US20230003512A1 (en) * 2021-06-17 2023-01-05 Universität Stuttgart Measuring Device and Method of Determining a Depth of Field of an Optical Setup
CN113465545A (zh) * 2021-06-30 2021-10-01 北京航空航天大学 一种基于高速led阵列的三维测量系统及其测量方法
CN115165920A (zh) * 2022-09-06 2022-10-11 南昌昂坤半导体设备有限公司 一种三维缺陷检测方法及检测设备
CN115165920B (zh) * 2022-09-06 2023-06-16 南昌昂坤半导体设备有限公司 一种三维缺陷检测方法及检测设备

Also Published As

Publication number Publication date
KR101824888B1 (ko) 2018-02-02

Similar Documents

Publication Publication Date Title
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2015115797A1 (ko) 깊이 정보 추출 장치 및 방법
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2022055194A1 (ko) 스캔 거울과 트랜슬레이션 스테이지를 사용한 플라잉 오버 빔 패턴 스캐닝 홀로그램 현미경 장치
WO2019039844A1 (en) X-RAY IMAGING APPARATUS AND CORRESPONDING CONTROL METHOD
WO2019231042A1 (ko) 생체 인증 장치
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
WO2021215752A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2022010193A1 (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
WO2015050380A1 (ko) 화상 표시 장치 및 그의 포인팅 방법
WO2020085758A1 (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
WO2021091105A1 (en) Electronic apparatus and control method thereof
WO2021060636A1 (en) Motion detection device and method
WO2024063280A1 (ko) 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법
WO2024063560A1 (ko) 스캐너, 데이터 처리 장치 및 데이터 처리 방법
WO2022203305A1 (ko) 데이터 처리 장치 및 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858662

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 08/08/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17858662

Country of ref document: EP

Kind code of ref document: A1