WO2023048338A1 - 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 - Google Patents

서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 Download PDF

Info

Publication number
WO2023048338A1
WO2023048338A1 PCT/KR2021/017642 KR2021017642W WO2023048338A1 WO 2023048338 A1 WO2023048338 A1 WO 2023048338A1 KR 2021017642 W KR2021017642 W KR 2021017642W WO 2023048338 A1 WO2023048338 A1 WO 2023048338A1
Authority
WO
WIPO (PCT)
Prior art keywords
laser light
wavelength
light source
diffraction grating
image
Prior art date
Application number
PCT/KR2021/017642
Other languages
English (en)
French (fr)
Inventor
유훈
장재영
Original Assignee
상명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교 산학협력단 filed Critical 상명대학교 산학협력단
Publication of WO2023048338A1 publication Critical patent/WO2023048338A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/44—Grating systems; Zone plate systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Definitions

  • the present invention relates to a diffraction grating imaging system for reconstructing a three-dimensional image using a diffraction grating.
  • 3D imaging plays a key role in 3D technology that requires 3D information processing.
  • the application fields of 3D technology are very wide, including augmented reality, autonomous driving, entertainment, defense, and biomedicine.
  • a process performed by the 3D imaging system largely includes a 3D image acquisition step, a 3D image processing step, and a 3D information visualization step.
  • An integral imaging technology is one of the technologies that are in the spotlight as a next-generation technology as a method of constructing a 3D imaging system together with hologram technology.
  • 3D image acquisition is an essential and very important first step.
  • 3D image acquisition is performed by a 3D image pickup device.
  • a 3D image pickup device a camera array, a lens array, or a moving camera are widely used.
  • a parallax image array (PIA) of a 3D object obtained through such a 3D image pickup device is one of the most effective 3D image data formats in 3D image processing and visualization.
  • the optical configuration of the diffraction grating imaging system consists of an amplitude diffraction grating in the form of a transmission film, a camera, and a laser light source.
  • the optical structure of diffraction grating imaging uses a diffraction grating and one camera, making it cheaper and simpler than a camera array system.
  • the optical structure of the diffraction grating imaging is thinner, lighter and cheaper than the lens array system, and does not have optical aberrations generated by the lens array. Therefore, the diffraction grating imaging system can be one of the promising technologies in the 3D information processing system including fields such as 3D object recognition and depth information extraction.
  • the diffraction grating image uses a short-wavelength laser, there is a problem in reproducing a color image, and there is image quality degradation due to speckle noise of the laser light source.
  • the diffraction grating image has disadvantages such as being restricted in the number of parallax images due to the use of a limited diffraction order. Therefore, research on diffraction grating images to overcome these disadvantages and obtain improved image quality is continuously required.
  • An object of the present invention to solve the above problems is to provide a diffraction grating imaging system that reconstructs a 3D image by using a plurality of laser light sources having different wavelengths to improve image quality.
  • a method of reconstructing a 3D image performed by a diffraction grating imaging system for achieving the above object is a diffraction grating irradiates laser light sources of different wavelengths to an object, and is reflected by the object diffracting the first to third laser beams; acquiring, by a camera device, first to third parallax image arrays respectively corresponding to the diffracted first to third laser beams by picking up the diffracted first to third laser beams; obtaining, by a processor, first to third reconstructed images respectively corresponding to the first to third parallax image arrays based on a back-projection method based on a virtual pinhole array; and reconstructing, by the processor, a 3D image having 3D volume information of the object by synthesizing the first to third reconstruction images.
  • a diffraction grating imaging system includes a laser light source unit for irradiating laser light sources of different wavelengths to an object; a diffraction grating for irradiating the object with the laser light sources of different wavelengths and diffracting first to third laser beams reflected from the object; a camera device that picks up the diffracted first to third laser beams and obtains first to third parallax image arrays respectively corresponding to the diffracted first to third laser beams; and obtaining first to third reconstructed images corresponding to the first to third parallax image arrays, respectively, based on a back-projection method based on a virtual pinhole array; and a computing device for reconstructing a 3D image having 3D volume information of the object by synthesizing 3 reconstruction images.
  • improved color image quality can be provided by reconstructing a 3D image using a plurality of laser light sources having different wavelengths.
  • 1 to 6 are diagrams for explaining a diffraction grating imaging technique applied to the present invention.
  • FIG. 7 is a block diagram showing a hardware configuration of a diffraction grating imaging system according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a pickup process and a reconstruction (reconstruction) process performed in the diffraction grating imaging system shown in FIG. 7 .
  • FIG. 9 is a graph showing a relationship between a spatial period of a parallax image array versus a depth resolution for each wavelength used in a diffraction grating imaging system according to an embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a reconstruction process according to an embodiment of the present invention.
  • Fig. 11 shows reconstructed images of an object with a depth of 104 mm and enlarged images of areas marked with yellow squares.
  • FIG. 12 is a flowchart illustrating a method of reconstructing a 3D image using a diffraction grating imaging system according to an embodiment of the present invention.
  • 1 to 7 are diagrams for explaining a technique applied to a diffraction grating imaging system according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a relationship between a pickup process and a reconstruction process in a diffraction grating imaging system according to an embodiment of the present invention.
  • 'PI' represents a parallax image
  • 'VP' represents a virtual pinhole
  • 'EOA' represents an effective object area
  • 'MIA' represents a minimum image area
  • a diffraction grating imaging system performs a pickup process and a reconstruction process.
  • the diffraction grating imaging system includes a diffraction grating 41 and an imaging lens 43 for performing a pick-up process, and a parallax image picked up on a pick-up plane through the diffraction grating 41 and the imaging lens 43. and a computing device that performs a computing operation for reconstructing the picked-up parallax images.
  • the computing device may be configured to include a processor, a memory, a storage medium, a communication unit, and a system bus connecting them, and among them, algorithms related to a pickup process and a reconstruction process are executed, and various operations are performed according to the executed algorithm.
  • a subject may be a processor.
  • a processor may include one or more general purpose microprocessors, digital signal processors (DSPs), hardware cores, application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), graphics processors (GPUs), or any of these It can be implemented by a combination of
  • the storage medium temporarily or permanently stores algorithms executed by the processor and intermediate data (intermediate values) and/or result data (result values) obtained from various calculation processes performed according to the execution of these algorithms, or pick-up process and various well-known algorithms for performing the reconstruction process, or providing an execution space for the algorithm.
  • the storage medium may also be referred to as a computer-readable medium, and the computer-readable medium may include random access memory (RAM) such as synchronous dynamic random access memory (SDRAM), read-only memory (ROM), and non-volatile memory (NVRAM). random access memory), electrically erasable programmable read-only memory (EEPROM), FLASH memory, hard disk, and the like.
  • RAM random access memory
  • SDRAM synchronous dynamic random access memory
  • ROM read-only memory
  • NVRAM non-volatile memory
  • random access memory electrically erasable programmable read-only memory
  • FLASH memory FLASH memory
  • hard disk and the like.
  • the wavelength of the light source, the diffraction grating 41 ), and system parameters such as the positions of the diffraction grating 41 and the imaging lens 43 are defined.
  • VPs virtual pinholes
  • a virtual pinhole (VP) represents a virtual camera.
  • the maximum area in which 3D objects can exist without overlapping each other in the picked-up image is defined as an effective object area (EOA), and the effective object area in the acquired images Detecting (EOA) is essential for reconstruction in diffraction grating imaging.
  • EOA effective object area
  • MIA minimum image area
  • mapping between the effective object area (EOA) and the minimum image area (MIA) is required, and a related equation is described below.
  • the diffraction grating 41 diffracts light rays emanating from the 3-D object. Observing an object through a diffraction grating 41 with an imaging lens 43 is the basic concept of the pickup process in diffraction grating imaging.
  • Light rays diffracted by the diffraction grating 41 are observed as perspective images of the 3-D object. Viewing object space through the diffraction grating 41 , it appears that virtual images of objects on the back side of the diffraction grating 41 are created.
  • the virtual images have parallaxes for the 3-D object and are stored as a parallax image array (PIA) by a capturing device such as imaging lens 43 .
  • a capturing device such as imaging lens 43 .
  • the imaging depth and size of the virtual object are the same as those of the original 3-D object.
  • 2 is a two-dimensional geometric relationship between a point object according to an embodiment of the present invention, parallax images of a point object on a parallax image plane (PI plane), and parallax images captured by an imaging lens.
  • PI plane parallax image plane
  • 2-D It is a diagram showing geometric relationships).
  • the diffraction grating 41 is at a distance d from the imaging lens 43 in the xy plane and the point object P1 is (x O , y O , z O ).
  • the point object represents an object included in the parallax image as a point, and the z- coordinates of all parallax images are the same as z O according to diffraction grating imaging, and z O is the imaging It may also be interpreted as the distance from the lens 43 to the parallax image plane (PI plane).
  • the -1st order parallax image (PI(x -1st , y O , z O )) and the +1st order parallax image (PI(x 1st , y O , z O )) are the diffraction grating ( 41) by ⁇ 1 st order diffraction of the point object.
  • a point object at (x O , y O , z O ) is used as a 0-order parallax image.
  • Equation 1 the x-coordinate of the parallax images is as shown in Equation 1 below.
  • Equation 2 An imaging point I (x mth , y nth , z O ) on the pickup plane 16 is expressed by Equation 2 below.
  • the diffraction grating 41 generates a diffraction grating generates parallax images in the space where the z-coordinate of the object and parallax images are the same.
  • the viewpoint of each parallax image is a virtual ray from the virtual point objects P2 and P3 passing through the optical center 20 of the imaging lens 43. 21, 22 and the actual ray 23 from the point object P1.
  • FIG. 3 is a geometric relationship between a path of a chief ray coming from a point object and a path of virtual rays coming from a virtual point object according to an embodiment of the present invention ( It is a drawing that represents the geometric relationship.
  • the virtual rays 21 and 22 directed to the optical center 20 of the imaging lens 43 in ⁇ 1 st order parallax images have a position function G( x mth , y nth , z O ) meets the diffraction grating 41 .
  • the diffraction grating 41 changes the path of the real ray 23 from the point object P1 to the optical center 20 of the imaging lens 43 .
  • the point G (x mth , y nth , z O ) is as shown in Equation 3 below.
  • Virtual pinholes can be regarded as camera arrays.
  • the present invention in order to implement a 3D image reconstruction method, formulas for the position of the virtual pinholes corresponding to parallax images and parallax images and virtual pinholes: Formulas for mapping between VPs are provided.
  • a ray radiating from the point object P2 at an angle of ⁇ is a primary parallax image PI(x 1st , y O , It is determined by the rays from z O )).
  • a light ray incident from PI(x 1st , y O , z O ) through the imaging lens 43 to an imaging point I(x 1st , y O , z O ) has the same angle as ⁇ .
  • Imaging point I(x 1st , y O , z O ) is considered as a parallax image of angle ⁇ with respect to rays emitted from point object P1. Assuming another point of depth z I on the pick-up plane, a line passing through the point object with the same parallax as image I(x 1st , y O , z O ) and point G(x 1st , y O , z O ) meets the pickup plane.
  • FIG. 4 is a geometrical relationship between a point object, a virtual pinhole (VP), a virtual image plane (VI plane), and I (x 1st , y O , z O ) in an embodiment of the present invention. ) is a drawing showing.
  • Equation 4 VP (x mth , y nth , z O ) is calculated as in Equation 4 below.
  • Equation 4 above means that if the order of the corresponding parallax images is the same, the position of each virtual pinhole is a unique value regardless of the position of the object.
  • Equation 4 means that the position of each virtual pinhole increases in the x and y directions as the depth of the object increases, and the imaging lens 43 is the 0 virtual pinhole (the 0 th can be regarded as a virtual pinhole.
  • V plane virtual image plane
  • the virtual images are images obtained by rearranging the image I (xmth, y nth , z O ) of the pickup plane (PI pickup plane) on the virtual image plane (VI plane).
  • the x-coordinate of the virtual image is as shown in Equation 5 below.
  • the virtual image (VI(x mth , y nth , z O )) is used in the reconstruction method according to the present invention.
  • These images are shift versions of the picked up parallax image I(x mth , y nth , z O ) with mapping factor ⁇ x mapping .
  • mapping factor ( ⁇ x mapping ) representing the amount of movement between the parallax image I (x mth , y nth , z O ) and the virtual image (VI (x mth , y nth , z O )) is It can be calculated by Equation 6 of
  • the image area is used to determine the field of view of each virtual pinhole.
  • Segmenting individual parallax images from the raw image captured by the diffraction grating 41 is transparent, unlike the raw image picked up by the lens array or camera array. Difficult due to diffraction grating).
  • parallax images may overlap each other when the size of an object exceeds a specific limit.
  • the overlapping problem of parallax images can be explained by the size of an object and the distance between the object and the diffraction grating.
  • an effective object area which is the maximum size of an object, needs to be defined.
  • 5A is an example of an effective object area (EOA), a parallax image area, picked up PI regions, virtual pinholes, and the Minimum Image Area (MIA) in an embodiment of the present invention.
  • 6b is a diagram showing how a parallax image of an original object in an actual 3D space is converted into a parallax image array for reconstruction in an embodiment of the present invention.
  • the 1st order PI region and -1st order PI region of the effective object area EOA are marked in red and green, respectively.
  • Equation 2 The boundary between the picked-up PI regions is determined using Equation 2. Thus, segmentation of the parallax images in the picked-up plane is possible.
  • the radius (Half of MIA) of the minimum image area (MIA) is It is obtained from the distance from the optical axis 60 of the virtual pinhole to the edge of the picked-up parallax image region PI region mapped to the virtual image plane VI plane.
  • the size of the effective object area is equal to the size of the ⁇ 1st PI area when the point object is placed on the optical axis.
  • Magnitude ⁇ x depends on the point x OC on the optical axis.
  • Changing ⁇ x changes the size of the 1st order PI region based on the center (x OC1st ) of the 1st order PI.
  • Equation 7 The maximum ⁇ x, that is, the effective object area (EOA) is as shown in Equation 7 below.
  • Equation 7 where ⁇ is the wavelength of the light source and a is the aperture width of the diffraction grating. It can be seen from Equation 7 above that the effective object area EOA (or the size of the EOA) is proportional to the distance between the object and the diffraction grating (
  • 5B shows how a parallax image of a circle object in a real 3-D space is converted into a parallax image array for computational reconstruction.
  • the effective object area (EOA) for the circle object on the left side of FIG. 5B is obtained by the above equation (7), as shown in the middle of FIG. 5B, the raw parallax picked up by the imaging lens 43 The area of the image (raw parallax images) can be determined.
  • a parallax image array (PIA) is created in a virtual plane for 3D reconstruction through the proposed mapping method based on a virtual pinhole and minimum image area (MIA).
  • FIG. 6 is a diagram illustrating a process of back-projecting onto a reconstruction plane using a parallax image array (PIA).
  • PPA parallax image array
  • each MIA with each parallax image is back-projected in 3D space passing through a virtual pinhole.
  • the back-projection process can be described as a process in which shifted versions of each parallax image are superimposed on the reconstruction plane. Accurately finding each parallax image can be obtained by Equation 6 described above.
  • the minimum image areas (MIA) may overlap each other as highlighted in blue and orange in FIG. 6 .
  • Back projection of all minimum image areas (MIAs) can provide depth information that accurately focuses the object image in the reconstruction plane.
  • the depth of the reconstruction plane is equal to the position of the object.
  • the reconstruction method of the present invention through diffraction grating imaging consists of determining the minimum image area (MIA), finding the parallax image captured in the minimum image area (MIA), and back-projecting the minimum image area (MIA) .
  • FIG. 7 is a block diagram showing a hardware configuration of a diffraction grating imaging system according to an embodiment of the present invention.
  • a diffraction grating imaging (DGI) system includes a laser light source unit 110, a diffraction grating unit 120, a camera device 130, and a computing device 140. includes
  • the laser light source unit 110 is a device for irradiating a 3D object with a plurality of laser light sources having different wavelengths, and may be configured to include a plurality of laser diodes.
  • the laser light source may be, for example, a plane illumination laser light source.
  • the diffraction grating 120 is a unit that diffracts laser beams reflected (scattered) from a three-dimensional object.
  • the camera device 130 may be a device that acquires parallax image arrays (PIAs) by picking up (or capturing) laser beams diffracted by the diffraction grating 120.
  • PDAs parallax image arrays
  • the computing device 200 extracts 3D information from the PIAs picked up by the camera device 130 and reconstructs (restores) the PIAs based on the extracted 3D information. It may be a device that performs a computing operation for
  • the computing device 200 includes a processor 210, a memory 220, a display 230, an input device 240, and a system bus 250 connecting them.
  • the processor 210 is a device that executes an algorithm related to performing a pickup process and a reconstruction (reconstruction) process to be described later, and performs various operations according to the executed algorithm, for example, It can be implemented with at least one processor.
  • a processor may include, for example, one or more general purpose microprocessors, digital signal processors (DSPs), hardware cores, application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), at least one graphics processor. GPUs, or any combination thereof.
  • the memory 143 temporarily or permanently stores intermediate data (intermediate values) and/or result data (result values) obtained from algorithms executed by the processor and various calculation processes performed according to the execution of these algorithms. .
  • the memory 143 may provide an execution space of known algorithms for performing a pickup process and a reconstruction (reconstruction) process.
  • the memory 143 may include, for example, random access memory (RAM) such as synchronous dynamic random access memory (SDRAM), read-only memory (ROM), non-volatile random access memory (NVRAM), electrically erasable programmable read (EEPROM) -only memory), FLASH memory, etc.
  • RAM random access memory
  • SDRAM synchronous dynamic random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • EEPROM electrically erasable programmable read
  • the display device 145 may be a device that displays images reconstructed by a reconstruction (reconstruction) process.
  • the input device 145 may be a device that generates various user inputs to perform a pickup process and a reconstruction (reconstruction) process.
  • input device 145 may be a keyboard.
  • FIG. 8 is a diagram for explaining a pickup process and a reconstruction (restoration) process performed by the DGI system shown in FIG. 7 .
  • the DGI system (or the processor 141 of the computing device 140) performs a pickup process for picking up parallax image arrays (PIAs) using the diffraction grating 120 and the picked-up parallax.
  • a reconstruction (reconstruction) process for extracting 3D information from image arrays (PIAs) is performed.
  • the planar laser light source 110 is irradiated to the 3D object 50, and among the laser beams reflected from the 3D object 50, the diffraction grating 120 Incident laser beams are diffracted by the diffraction grating 120 .
  • the diffracted laser beams are picked up by the camera 130 , parallax image arrays (PIAs) for the 3D object 50 are captured.
  • 3D information is obtained by using a known back-projection method from parallax image arrays (PIAs) picked up based on the back-projection method. Digital image processing to extract is performed.
  • PPAs parallax image arrays
  • a laser light source is used in diffraction grating imaging according to an embodiment of the present invention. Observing scattered (reflected) laser beams on the surface of the 3D object 50 through the diffraction grating 120 confirms that the scattered (reflected) laser beams are formed periodically in space.
  • a period in which the scattered laser beams are imaged in space is referred to as a 'Spatial period', and this spatial period can be defined as a distance between parallax image arrays, which is It is proportional to the distance between the diffraction gratings 120. That is, the spatial period has a direct relationship with the diffraction angle.
  • the well-known diffraction grating equation is an equation that well expresses the relationship between the diffraction angle and the wavelength of a laser beam.
  • the spatial period of the image of the object 50 observed through the diffraction grating 120 increases as the depth and wavelength of the object increase.
  • the depth of the object is the position of the object.
  • parallax image arrays obtained according to the wavelength of the laser have different image characteristics according to the wavelength of the laser used. This means that the wavelength of the laser affects image quality. As such, research on a diffraction grating imaging system based on a laser light source is worth proceeding.
  • a multi-wavelength laser light source is used to reduce the problems of the existing diffraction grating imaging system and improve image quality.
  • laser light sources having different wavelengths are sequentially irradiated to the 3D object 50 .
  • Red, R red color
  • Green, G green color
  • Blue, B blue color
  • the physical characteristics due to the wavelengths of the used light sources are reflected in the image acquisition process, and a parallax image array having characteristics according to the wavelengths of each light source is obtained.
  • the present invention proposes a diffraction grating imaging system using a plurality of laser light sources having different wavelengths, it is necessary to analyze diffraction grating imaging according to wavelengths.
  • the wavelength of the light source affects the spatial period, and since the depth information of an object (or the positional information of an object) is determined according to the spatial period, the spatial period is related to the depth information (or the positional information of an object) of an object. It can be thought of as a function of the wavelength of the light used (eg laser light source).
  • the spatial period is a key parameter in the reconstruction process, it is necessary to calculate the spatial period according to the wavelength from one depth information and synthesize the 3D images obtained from the parallax image arrays obtained for each wavelength.
  • the present invention provides an analysis of the wavelength, spatial period and depth resolution of a light source.
  • the depth resolution ⁇ z is defined as the minimum distance at which the depth of an object can be recognized in a diffraction grating imaging system.
  • the depth of the object is the position of the object. Therefore, the depth resolution ⁇ z can be defined as the minimum distance between two objects that can recognize that the two objects are located at different positions.
  • the space period X can be expressed by Equation 9 below.
  • z 0 is the position of the object 50 relative to the pickup lens (eg, imaging lens 43 of FIG. 2 ) of the camera 130 or the parallax from the pickup lens (eg, imaging lens 43 of FIG. 2 ). It is defined as the distance to the image plane (PI plane).
  • d is the distance between the diffraction grating 120 and the pickup lens (or imaging lens) included in the camera 130 (see 'd' in FIG. 2 ).
  • ⁇ k is the wavelength of the laser light source.
  • p is the pitch of the diffraction grating.
  • ⁇ x is defined as the resolution of the space period.
  • the resolution ⁇ x of the space period is the minimum unit representing the depth resolution capable of recognizing the depth information of two objects in the space period of the x-axis. Therefore, the depth resolution ⁇ z can be expressed by Equation 10 below including the resolution ⁇ x of the spatial period.
  • the spatial period can be defined in units of pixels of the digital image.
  • FIG. 9 is a graph showing a relationship between a spatial period of a parallax image array versus a depth resolution for each wavelength used in a diffraction grating imaging system according to an embodiment of the present invention.
  • the wavelength ⁇ k of the laser light source used is 635 nm (Red), 532 nm (Green), and 450 nm (Blue), respectively.
  • FIG. 9(a) shows a parallax image arrangement of an original object acquired using three light sources.
  • the original object is positioned 100 mm away from the diffraction grating 120.
  • FIG. 9 is an enlarged photograph of the rectangular portion indicated in yellow in (a).
  • the spatial period of each parallax image array for a given object depth was measured as 661 pixels, 553 pixels, and 463 pixels, respectively, in the red, green, and blue wavelength light sources.
  • the spatial period also increases as the wavelength of the light source increases. This fits well with what Equation (9) says.
  • 9(c) is a graph of a space period corresponding to the depth of an object (50 in FIG. 2).
  • (c) it can be seen that all graphs for each wavelength are linear. However, the slope increases as the wavelength increases. This means that the precision of the depth resolution increases as the wavelength of the light source increases.
  • the slope of the graph means the depth resolution against the spatial period, and having a constant value means that the depth resolution is independent of the depth of the object. This is a very important advantage compared to the fact that the resolution of depth information deteriorates as the distance increases through a normal camera array.
  • This result can be used as an important factor in the design of a diffraction grating imaging system when extracting depth information using a 3D imaging system.
  • the graph provided in (c) is used as very important information in the reconstruction process. That is, when reconstructing a 3D image at a target position, a spatial period to be applied must be calculated from a parallax image array obtained for each wavelength. For example, as in the example of FIG. 9 , the 3D plane image to be reconstructed at position 100 needs to set the spatial period to 661 pixels in the red-wavelength parallax image array, 553 pixels in green, and 463 pixels in blue. Therefore, if the graph of (c) is confirmed as discussed in the previous paragraph after the optical device is designed, spatial periods per wavelength can be provided at all positions required in the reconstruction process.
  • a reconstruction method is required to generate a 3D volume from the parallax image array in diffraction grating imaging.
  • FIG. 10 is a diagram for explaining a reconstruction process according to an embodiment of the present invention.
  • parallax image arrays of objects sequentially illuminated by multi-wavelength lasers are used as input data for reconstructing a 3D volume.
  • the reconstruction of the 3D volume uses a back-projection method based on a virtual pinhole array using parallax image arrays (PIAs) as input data.
  • Virtual Pinholes (VPs) are defined to project parallax image arrays (PIAs) into a 3-D reconstruction space. As described above, the virtual pinhole VP represents a virtual camera.
  • a back-projection method based on a virtual pinhole array provides a reconstruction plane image at a given depth z for each wavelength. Since the wavelength ⁇ k of the laser light source used here is 635 nm (red), 532 nm (green), and 450 nm (blue), in this case, three reconstruction images (11, 12, 13) are generated.
  • the individually reconstructed images (11, 12, and 13) must be at the same depth. Important information required at this time is to utilize spatial periods, and space based on the graph shown in (c) of FIG. It is obtained by the period counting method.
  • the reconstructed image corresponding to a single wavelength is subjected to a spectral selection method.
  • the final reconstructed image 14 is obtained at a given depth z. Repeating this process for all depths provides a 3D volume in diffraction grating imaging.
  • Fig. 11 shows reconstructed images of an object with a depth of 104 mm and enlarged images of areas marked with yellow squares.
  • Parallax images of a diffraction grating image may cause interference due to the inherent characteristics of diffraction. Such interference is more likely to occur as the spatial period is shorter and the intensity of illumination is stronger. In this optical experiment, it is shown in (a) that the overlapping area does not occur because it occurs in the green and blue lasers, and in the case of the red laser, the spatial period between the parallax images is sufficient.
  • interference noise is largely removed from the image reconstructed using multi-wavelengths.
  • the multi-wavelength reconstruction results show that the more parallax images participate in the reconstruction process, the better the noise removal effect in the reconstruction images according to the wavelength selection.
  • the blue wavelength provides a clearer image than the red wavelength in the short wavelength reconstruction result.
  • the speckle noise appears to remain stronger than at the blue wavelengths.
  • the resolution increases, interference between parallax images and speckle noise are significantly attenuated.
  • FIG. 12 is a flowchart illustrating a method of reconstructing a 3D image using a diffraction grating imaging system according to an embodiment of the present invention.
  • step S110 the diffraction grating 120 radiates laser light sources of different wavelengths to the object 50 to generate first to third laser beams reflected by the object 50. Perform a diffraction step.
  • step S120 the camera device 130 picks up the diffracted first to third laser beams, and generates first to third parallax image arrays respectively corresponding to the diffracted first to third laser beams.
  • step S130 the processor 141 of the computing device 140 corresponds to the first to third parallax image arrays, respectively, based on a back-projection method based on a virtual pinhole array.
  • a step of obtaining the first to third reconstructed images 11, 12, and 13 to be performed is performed.
  • step S140 the processor 141 merges and combines the first to third reconstruction images to reconstruct a 3D image having 3D volume information of the object 50.
  • the laser light source 110 includes a laser light source of a first wavelength, a laser light source of a second wavelength, and a laser light source of a third wavelength.
  • the step of sequentially irradiating the object 50, and the diffraction grating 120 irradiates the object with the laser light source of the first wavelength and transmits the reflected first laser beam and the laser light source of the second wavelength to the object and sequentially diffracting the reflected third laser beam by irradiating and reflecting the second laser beam and the laser light source of the third wavelength onto the object.
  • the laser light source 110 sequentially irradiating the object 50 with a laser light source of a first wavelength, a laser light source of a second wavelength, and a laser light source of a third wavelength, the red light source of the first wavelength
  • a laser light source, a green laser light source of a second wavelength, and a blue laser light source of a third wavelength may be sequentially irradiated onto the object.
  • the step of calculating the spatial period may include a laser light source having a first wavelength value ⁇ 1 , a laser light source having a second wavelength value ⁇ 2 , and a third wavelength laser light source having different wavelengths.
  • a laser light source having a value ( ⁇ 3 ) is included, a spatial period to be applied to the first parallax image array using the first wavelength value ( ⁇ 1 ) and the distance (z) from the diffraction grating to the object Calculating the resolution ( ⁇ x 1 ) of, the resolution of the spatial period to be applied to the second parallax image array using the second wavelength value ( ⁇ 2 ) and the distance (z) from the diffraction grating to the object ( Calculating ⁇ x 2 ) and the resolution ( ⁇ x 3 ) of the spatial period to be applied to the third parallax image array using the third wavelength value ( ⁇ 3 ) and the distance (z) from the diffraction grating to the object It may include the step of calculating .
  • the distance (z) from the diffraction grating to the object is included in Equation 9 or as shown in FIG. 2 can be
  • the step of calculating the resolution ( ⁇ x) of the spatial period A step of calculating using , where ⁇ z is a depth resolution defined as a minimum distance capable of recognizing the depth of an object or a distance (z) from the diffraction grating to the object, and ⁇ k is the wavelength of the laser light source , and p is the pitch of the diffraction grating.
  • the diffraction grating imaging system of the present invention can be utilized in the industrial field of reconstructing a 3D image using a plurality of laser light sources having different wavelengths.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명의 일면에 따른 회절 격자 이미징 시스템에 의해 수행되는 3차원 영상을 재구성하는 방법은, 회절 격자가, 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 단계; 카메라 장치가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계; 프로세서가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하는 단계; 및 상기 프로세서가, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계를 포함한다. 본 발명의 회절 격자 이미징 시스템은 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성함으로써, 개선된 컬러 영상 화질을 제공한다.

Description

서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
본 발명은 회절 격자를 이용하여 3차원 영상을 재구성하는 회절 격자 이미징 시스템에 관한 것이다.
3차원 이미징은 3차원 정보 처리를 필요로 하는 3D 기술에서 핵심적인 역할을 한다. 3D 기술의 응용 분야는 증강 현실, 자율 주행, 엔터테인먼트, 국방, 생물 의학 등을 포함한 매우 광범위하다.
3차원 영상 시스템에 의해 수행되는 프로세스는 크게 3차원 영상 취득 (3D image acquisition) 단계, 3D 영상 처리 단계 및 3D 정보의 시각화 (3D visualization) 단계를 포함한다.
집적 영상(integral imaging) 기술은 홀로그램 기술과 더불어 3차원 영상 시스템을 구축하는 방법으로 차세대 기술로서 각광받고 있는 기술 중 하나이다.
집적 영상 기반 3D 시스템에서, 3D 영상 취득은 첫 번째 단계로 필수적이고 매우 중요한 부분이다. 3D 영상 취득은 3D 영상 픽업 장치에 의해 수행된다. 3D 영상 픽업 장치로서, 카메라 배열, 렌즈 배열, 또는 움직이는 카메라가 많이 활용한다. 이러한 3D 영상 픽업 장치를 통해서 얻은 3차원 물체의 시차 영상 배열(Parallax Image Array, PIA)은 3차원 영상 처리 및 시각화에서 매우 효과적인 3차원 영상 데이터 형식 중 하나다.
최근에, 회절 격자(a diffraction grating)를 이용한 3차원 영상 취득 기술이 소개된 바 있다. 회절 격자 이미징 시스템의 광학적 구성은 투과 필름 형태의 진폭 회절 격자, 카메라, 그리고 레이저 광원으로 이루어진다.
회절 격자 이미징의 광학 구조는 회절 격자와 하나의 카메라를 사용함으로써, 카메라 배열 시스템에 비해 저렴하고 간단하다. 또한, 회절 격자 이미징의 광학 구조는 렌즈 배열 시스템에 비해 두께가 얇고, 가볍고 저렴하며, 렌즈 배열에서 발생하는 광학 수차가 없다. 따라서 회절 격자 이미징 시스템은 3차원 물체 인식이나 깊이 정보 추출 등의 분야를 포함한 3차원 정보처리 시스템에서 유망한 기술 중 하나가 될 수 있다.
그러나 회절 격자 영상은 단파장의 레이저를 사용함으로써 컬러 영상 재현에 문제가 있고, 레이저 광원의 speckle 잡음에 기인한 화질 열화가 존재한다. 또한, 회절 격자 영상은 제한적인 회절 차수(diffraction order) 사용에 의한 시차 영상(parallax image)의 개수에 제약을 받는 등의 단점이 있다. 따라서, 회절 격자 영상에서 이러한 단점들을 극복하고 개선된 화질을 얻기 위한 연구는 지속적으로 필요하다.
상술한 문제점을 해결하기 위한 본 발명의 목적은, 영상의 화질 개선을 위해, 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성하는 회절 격자 이미징 시스템을 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 회절 격자 이미징 시스템에 의해 수행되는 3차원 영상을 재구성 방법은, 회절 격자가, 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 단계; 카메라 장치가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계; 프로세서가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하는 단계; 및 상기 프로세서가, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 회절 격자 이미징 시스템은, 서로 다른 파장의 레이저 광원들을 물체에 조사하는 레이저 광원 유닛; 상기 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 회절 격자; 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 카메라 장치; 및 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하고, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 컴퓨팅 장치를 포함한다.
본 발명에 따르면, 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성함으로써, 개선된 컬러 영상 화질을 제공할 수 있다.
도 1 내지 6은 본 발명에 적용되는 회절 격자 이미징 기술을 설명하기 위한 도면들이다.
도 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템의 하드웨어 구성을 보여주는 블록도이다.
도 8는 도 7에 도시한 회절 격자 이미징 시스템에서 수행되는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 설명하기 위한 도면이다.
도9는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서 활용된 파장별 깊이 해상도 대비 시차 영상 배열의 공간 주기와의 관계를 보여주는 그래프이다.
도 10은 본 발명의 실시 예에 따른 재구성 프로세스를 설명하기 위한 도면이다.
도11은 깊이 104 mm의 물체에 대해서 재구성된 영상들과 노란색 사각형으로 표시된 영역을 확대한 영상들을 보여준다.
도 12는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템을 이용하여 3차원 영상을 재구성하는 방법을 나타내는 흐름도이다.
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
이하, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 대해 상세히 설명하기로 하며, 그에 앞서, 도 1 내지 7을 참조하여, 본 발명에 적용될 수 있는 회절 격자 이미징 기술에 대해 설명한 후, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 대해 상세히 설명하기로 한다.
도 1 내지 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 적용되는 기술을 설명하기 위한 도면들이다.
도 1은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템(diffraction grating imaging system)에서 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process) 간의 관계(relationship)의 개략도이다.
도 1에서, 'PI'는 시차 이미지(Parallax Image)를 나타내고, 'VP'는 가상 핀홀(Virtual Pinhole)를 나타내고, 'EOA'는 유효 객체 영역(Effective Object Area)을 나타낸다. 그리고 'MIA'는 최소 이미지 영역(Minimum Image Area)을 나타낸다.
도 1을 참조하면, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템은 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process)를 수행한다.
회절 격자 이미징 시스템은은 픽업 프로세스를 수행하기 위한 회절 격자(41)와 이미징 렌즈(43, imaging lens)를 포함하고, 회절 격자(41)와 이미징 렌즈(43)를 통해 픽업 평면에 픽업된 시차 이미지들과 상기 픽업된 시차 이미지들을 재구성하기 위한 컴퓨팅 연산을 수행하는 컴퓨팅 장치를 더 포함하도록 구성된다.
컴퓨팅 장치는, 프로세서, 메모리, 저장 매체, 통신부 및 이들을 연결하는 시스템 버스를 포함하도록 구성될 수 있으며, 이들 중에서 픽업 프로세스와 재구성 프로세스와 관련된 알고리즘을 실행하고, 실행된 알고리즘에 따라 다양한 연산을 수행하는 주체는 프로세서일 수 있다.
프로세서는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 그래픽 프로세서들(GPUs) 또는 이들의 임의의 결합에 의해서 구현될 수 있다.
저장 매체는 프로세서에 의해 실행되는 알고리즘 및 이러한 알고리즘의 실행에 따라 수행된 다양한 연산과정으로부터 획득된 중간데이터(중간값) 및/또는 결과 데이터(결과값) 등을 일시적 또는 영구적으로 저장하거나, 픽업 프로세스와 재구성 프로세스를 수행하기 위한 공지의 다양한 알고리즘을 저장하거나, 알고리즘의 실행 공간을 제공하는 것일 수 있다.
저장 매체는, 컴퓨터-판독가능 매체로 지칭될 수도 있으며, 컴퓨터-판독가능 매체는 SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-onlymemory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 하드 디스크 등을 포함할 수 있다.
회절 격자(diffraction grating)를 이용한 3-D 객체들(3-D objects)에 대한 상기 픽업 프로세서(pickup process)의 분석(analysis)에서는, 광원(light source)의 파장(wavelength), 회절 격자(41)의 공간 분해능(spatial resolution), 및 회절격자(41) 및 이미징 렌즈(43)의 위치(positions)와 같은 시스템 파라미터(system parameters)가 정의한다.
재구성 프로세스는 역-투영(back-projection)에 기반한다. 여기서, 시차 이미지들(parallax images)을 3-D 재구성 공간(3-D reconstruction space)으로 투영하기 위해 가상 핀홀들(VPs: Virtual Pinholes)이 정의된다. 가상 핀홀(VP)은 가상의 카메라를 표현한 것이다.
본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서는 픽업된 이미지에서 3D 객체가 서로 겹치지 않고 존재할 수 있는 최대 영역(maximum area)을 유효 객체 영역(EOA)으로 정의되고, 획득된 이미지들에서 유효 객체 영역(EOA)를 검출(detecting)하는 것은 회절 격자 이미징에서 재구성에 필수적이다.
또한 재구성 프로세스에서는, 각 가상 핀홀의 최소 시야각(minimum field of view) 인 최소 이미지 영역 (MIA, minimum image area)이 정의된다.
또한, 재구성(computational reconstruction)을 위해, 유효 객체 영역(EOA)과 최소 이미지 영역(MIA) 간의 매핑(mapping)이 필요하고, 이와 관련된 수학식이 아래에서 설명된다.
회절 격자 이미징에서 3D 객체들의 픽업 프로세스
회절 격자(41)는 3-D 객체로부터 발산하는(emanating) 광선을 회절 시킨다. 이미징 렌즈(43)로 회절 격자(41)를 통해 객체를 관찰하는 것(observing)은 회절 격자 이미징에서 픽업 프로세스의 기본 개념이다.
회절 격자(41)에 의해 회절된 광선(diffracted light rays)은 상기 3-D 객체의 투시 이미지들(perspective images)로서 관찰된다. 회절 격자(41)를 통해 객체 공간(object space)을 관찰하면, 회절 격자(41)의 후면 상에 객체의 가상 이미지들(virtual images)이 생성되는 것으로 보인다.
가상 이미지들은 3-D 객체에 대한 시차들(parallaxes)을 가지며, 이미징 렌즈(43)와 같은 캡처 장치(capturing device)에 의해 시차 이미지 어레이 (PIA)로서 저장된다. 여기서, 가상 객체의 이미징 깊이(imaging depth)와 크기(size)는 원래의 3-D 객체(original 3-D object)와 동일하다.
도 2는 본 발명의 실시 예에 따른 포인트 객체, 시차 이미지 평면(parallax image plane: PI plane) 상에서 포인트 객체의 시차 이미지들 및 이미징 렌즈에 의한 캡처된 시차 이미지들 간의 2 차원 기하학적 관계(two-dimensional(2-D) geometric relationships)를 보여주는 도면이다.
도 2를 참조하면, 회절 격자(41)가 x-y 평면에서 이미징 렌즈(43)로부터 거리 d에 있고, 포인트 객체(P1)는 (xO, yO, zO)로 가정한다. 여기서, 포인트 객체는 시차 이미지에 포함된 객체를 포인트로 표현한 것이고, 모든 시차 이미지의 z 좌표(the z-coordinates)는 회절 격자 이미징(diffraction grating imaging)에 따라 zO로서 동일하고, zO는 이미징 렌즈(43)로부터 시차 이미지 평면(PI plane)까지의 거리로 해석될 수도 있다.
도 2에 도시 된 바와 같이, -1차 시차 이미지(PI(x-1st, yO, zO)) 및 +1차 시차 이미지(PI(x1st, yO, zO))는 회절 격자(41)에 의해 포인트 객체의 ± 1 차(± 1st order) 회절(diffraction)에 의해 생성된다. (xO, yO, zO)에서의 포인트 객체는 0 차 시차 이미지로 사용된다.
1차 시차 이미지(PI(x1st, yO, zO))와 0차 시차 이미지(PI(xO, yO, zO))들 사이의 회절각(θ)은 θ = sin-1(mθ/a)로 계산되며, 여기서 θ는 광원(light source)의 파장(wavelength)이고, a는 회절 격자의 개구폭(aperture width)이다.
회절 차수(diffraction order)와 포인트 객체(point object)의 위치를 고려하면, 시차 이미지(parallax images)의 x 좌표는 아래의 수학식 1과 같다.
Figure PCTKR2021017642-appb-M000001
여기서, m은 -1, 0 및 1이다. 시차 이미지(parallax image)의 y 좌표(yO)는 수학식 1에서 xO를 yO로 대체하여 획득된다. 픽업 평면(16, pickup plane)상의 이미징 포인트(imaging point) I(xmth, ynth, zO)는 아래의 수학식 2와 같다.
Figure PCTKR2021017642-appb-M000002
여기서 m과 n은 -1, 0, 1이며 zI는 픽업 평면의 z 좌표를 나타낸다.
회절 격자(41)는 객체의 z-좌표와 시차 이미지가 동일한 공간에서 시차 이미지를 생성한다(a diffraction grating generates parallax images in the space where the z-coordinate of the object and parallax images are the same).
픽업 평면에서 I(x1th, yO, zO)에 도달하는 광선이 PI (x1th, yO, zO)에서 나온 것처럼 보이지만, 포인트 객체에서 발산하는(emanating) 광선만이 실제이다(the ray reaching I(x1th, yO, zO) in the pick-up plane seems to come from PI(x1th, yO, zO), only the rays emanating from the point object are real).
따라서, 각 시차 이미지(each parallax image)의 시점(viewpoint)은 이미징 렌즈(43)의 광학 중심(20, optical center)을 통과하는(passing through) 가상 포인트 객체들(P2, P3)로부터의 가상 광선들(21, 22)과 포인트 객체(P1)로부터의 실제 광선(23)과의 관계(relationship)에 의해 설명될 수 있다.
도 3은 본 발명의 실시 예에 따른 포인트 객체로부터 나오는(coming from) 주요 광선(chief ray)의 경로와 가상 포인트 객체로부터 나오는(coming from) 가상 광선들(virtual rays)의 경로 사이의 기하학적 관계(geometric relationship)를 나타내는 도면이다.
도 3을 참조하면, ±1 차 시차 이미지(±1st order parallax images)에서 이미징 렌즈(43)의 광학 중심(20)으로의 가상 광선들(21, 22)은 위치 함수(position function) G(xmth, ynth, zO)에 의해 정의되는 지점에서 회절 격자(41)를 만난다.
포인트 G(xmth, ynth, zO)에서, 회절 격자(41)는 포인트 객체(P1)로부터 이미징 렌즈(43)의 광학 중심(20)으로의 실제 광선(23)의 경로를 변화시킨다. 점 G(xmth, ynth, zO)는 아래의 수학식 3과 같다.
Figure PCTKR2021017642-appb-M000003
이하, 재구성 프로세스의 중요한 부분(crucial part)에 해당하는 회절 격자 이미징에서 역-투영(back-projection)을 위한 가상 핀홀(virtual pinholes)에 대해 설명하기로 한다.
시차 이미지의 가상 핀홀(virtual pinholes) 및 매핑 위치
가상 핀홀(virtual pinholes)은 카메라 어레이(camera array)로 간주될 수 있다. 본 발명은, 3차원 이미지 재구성 방법을 구현하기 위해, 시차 이미지들에 대응하는 가상 핀홀의 위치(position of the virtual pinholes)에 대한 공식과 시차 이미지들(parallax images)과 가상 핀홀들(virtual pinholes: VPs) 사이의 매핑(mapping)을 위한 공식이 제공된다.
도 3에 도시 된 바와 같이, Ψ의 각도에서 포인트 객체(P2)로부터 방출하는(radiating) 광선은 (x1st, yO, zO)에 위치한 1 차 시차 이미지(PI(x1st, yO, zO))로부터의 광선으로 결정된다. PI(x1st, yO, zO)에서 이미징 렌즈(43)를 통해 이미징 포인트 I(x1st, yO, zO)로 입사하는 광선은 Ψ의 각도와 동일하다.
이미징 포인트 I(x1st, yO, zO)는 포인트 객체(P1)로부터 방출되는 광선에 대해 각도 Ψ의 시차 이미지로 간주된다. 픽업 평면 상에서 zI 깊이의 다른 포인트를 가정하면, 이미지 I(x1st, yO, zO)와 동일한 시차를 가지며 포인트 객체를 통과하는 선(line)과 포인트 G(x1st, yO, zO)는 픽업 평면과 만난다.
도 4는 본 발명의 실시 예에서 포인트 객체, 가상 핀홀(Virtual Pinhole, VP), 가상 이미지(virtual image) 평면(VI plane) 및 I(x1st, yO, zO) 간의 기하학적 관계(Geometrical relationship)를 나타내는 도면이다.
도 4에 도시된 바와 같이, x 축의 한 지점에 위치한 가상 핀홀(51)의 광학 중심을 위치 함수(position function) VP (xmth, ynth, z0)로 가정할 때, 수학식 1과 3을 이용하면, VP(xmth, ynth, zO)는 아래의 수학식 4와 같이 계산된다.
Figure PCTKR2021017642-appb-M000004
여기서 m과 n은 -1, 0, 1이다.
상기 수학식 4는 대응하는 시차 이미지의 차수(order)가 동일하면, 각 가상 핀홀의 위치는 객체의 위치에 관계없이 고유한 값(unique value)임을 의미한다.
그러나 수학식 4는 객체의 깊이(the depth of the object)가 증가함에 따라 각 가상 핀홀의 위치가 x 및 y 방향으로 증가함을 의미하고, 이미징 렌즈(43)는 제 0 가상 핀홀(the 0th virtual pinhole)로 간주될 수 있다.
이하, 가상 이미지가 존재하는 가상 이미지 평면(VI plane)에 대한 설명한다.
가상 이미지들은 픽업 평면(PI pickup plane)의 이미지 I(xmth, ynth, zO)를 가상 이미지 평면(VI plane)에 재배치한 이미지들이다. 가상 이미지의 위치 함수는 VI(xmth, ynth, zO) = (x, y, zI)로 주어진다. 여기서 m과 n은 -1, 0 및 1이다.
가상 이미지의 x 좌표는 아래의 수학식 5와 같다.
Figure PCTKR2021017642-appb-M000005
수학식 5에서 xO와 xmth를 yO와 ymth로 대체하면, 가상 이미지의 y 좌표 yO가 된다.
가상 이미지(VI(xmth, ynth, zO))는 본 발명에 따른 재구성 방법(computation reconstruction)에 이용된다.
이들 이미지들은 매핑 팩터(Δxmapping)를 갖는 픽업된 시차 이미지 I(xmth, ynth, zO)의 이동 버전(shift version)이다.
수학식 2와 5를 이용하면 시차 이미지I(xmth, ynth, zO)와 가상 이미지(VI(xmth, ynth, zO)) 사이의 이동량을 나타내는 매핑 팩터(Δxmapping)는 아래의 수학식 6으로 계산될 수 있다.
Figure PCTKR2021017642-appb-M000006
시차 이미지 분할 및 재구성 방법
시차 이미지(parallax image)를 분할(segment)하기 위해, 이미지 영역(image area)을 사용하여 각 가상 핀홀의 시야각(field of view)을 결정한다.
회절 격자(41)에 의해 캡처 된 원시 이미지(raw image)로부터 개별 시차 이미지(individual parallax images)를 분할(segmenting)하는 것은 렌즈 어레이 또는 카메라 어레이에 의해 픽업된 원시 이미지와는 다르게 투명 회절 격자(transparent diffraction grating)로 인해 어렵다.
더욱이, 회절 격자 이미징(diffraction grating imaging)은 객체의 크기(size)가 특정 한계(specific limit)를 초과할 때 시차 이미지가 서로 중첩되기도 한다.
시차 이미지들의 중첩 문제(The overlapping problem of parallax images)는 객체의 크기 및 객체와 회절 격자 사이의 거리에 의해 설명될 수 있다.
중첩 문제를 피하기 위해, 객체의 최대 크기(the maximum size)인 유효 객체 영역(Effective Object Area: EOA)이 정의될 필요가 있다.
편의상 유효 객체 영역(Effective Object Area: EOA)의 중심은 이미징 렌즈(43)의 광축(optical axis)에 정렬된다고 가정한다.
도 5a는 본 발명의 실시 예에서 유효 객체 영역(EOA), 시차 이미지 영역, 픽업된 PI 영역(picked up PI regions), 가상 핀홀(virtual pinholes) 및 최소 이미지 영역(the Minimum Image Area: MIA)의 절반(half) 간의 기하학적 관계(geometrical relationship)를 보여주는 도면이고, 도 6b는 본 발명의 실시 예에서 실제 3 차원 공간에서 원 객체의 시차 이미지가 재구성을 위해 시차 이미지 어레이로 어떻게 변환되는지 보여주기 위한 도면이다.
먼저, 도 5a를 참조하면, 유효 객체 영역(EOA)을 정의하면, 시차 이미지의 영역이 정의된다.
도 5a에서 유효 객체 영역(EOA)의 1차 PI 영역(1st order PI region)과 -1차 PI 영역(-1st order PI region)은 각각 적색 및 녹색으로 표기되어 있다.
픽업된 PI 영역들(picked-up PI regions) 사이의 경계(boundary)는 수학식 2를 사용하여 결정된다. 따라서, 픽업된 평면(picked-up plane)에서 시차 이미지의 분할(segmentation of the parallax images)이 가능하다.
상기 수학식 6을 이용해서 픽업 평면 상의 픽업된 시차 이미지의 영역을 가상 이미지 평면(VI plane)의 최소 이미지 영역(MIA)으로 매핑한 후, 최소 이미지 영역(MIA)의 반경(Half of MIA)은 가상 핀홀의 광축(60)으로부터 가상 이미지 평면(VI plane)으로 매핑된 상기 픽업된 시차 이미지 영역(PI region)의 가장자리까지의 거리로부터 획득된다.
유효 객체 영역(EOA)의 크기는 포인트 객체가 광축에 놓일 때 ±1st PI 영역의 크기와 같다. 크기 Δx는 광축상의 포인트 xOC에 의존한다. Δx를 변경하면 1 차 PI(1st order PI)의 중심(xOC1st)를 기준으로 1 차 PI 영역(1st order PI region)의 크기가 변경된다.
최대 Δx, 즉 유효 객체 영역(EOA)은 아래의 수학식 7과 같다.
Figure PCTKR2021017642-appb-M000007
여기서 λ는 광원의 파장이고, a는 회절 격자의 개구 폭(aperture width)이다. 유효 객체 영역(EOA)(또는 EOA의 크기)은 객체와 회절 격자 사이의 거리(|z0 - d|)에 비례함을 상기 수학식 7로부터 알 수 있다. 최소 이미지 영역 (MIA)의 절반, Δr은 식 (4), 식 (5) 및 식 (7)를 통해 아래의 수학식 8에 의해 계산된다.
Figure PCTKR2021017642-appb-M000008
도 5b에서는 실제 3차원 공간(3-D space)에서 원형 객체(circle object)의 시차 이미지가 재구성(computational reconstruction)을 위해 시차 이미지 어레이(parallax image array)로 어떻게 변환되는지를 보여준다.
도 5b의 왼쪽에 있는 원형 객체(circle object)에 대해 유효 객체 영역(EOA)이 전술한 수학식 7에 의해 얻어지면, 도 5b의 중간에 보이듯이, 이미징 렌즈(43)에 의해 픽업된 원시 시차 이미지(raw parallax images)의 영역을 결정할 수 있다.
도 5b의 오른쪽에 도시 된 바와 같이, 가상 핀홀 및 최소 이미지 영역 (MIA)에 기초한 제안된 맵핑 방법을 통해서 3차원 재구성을 위해 가상 평면에서 시차 이미지 어레이(PIA)가 생성된다.
도 6은 시차 이미지 어레이(PIA)를 이용하여 재구성 평면(reconstruction plane)으로 역-투영(back-projection)하는 과정을 보여주는 도면이다.
도 6을 참조하면, 각각의 시차 이미지가 있는 각각의 MIA는 가상 핀홀을 통과하는 3D 공간에서 역 투영된다. 역 투영되는 과정은 각각의 시차 이미지의 이동된 버전이 재구성 평면에서 겹쳐지는 과정으로 설명할 수 있다. 여기서 각 시차 이미지를 정확하게 찾는 것은 전술한 수학식 6에 의해 얻을 수 있다.
또한 최소 이미지 영역 (MIA)은 도 6에서 파란색과 주황색으로 강조된 것처럼 서로 겹칠 수 있다. 모든 최소 이미지 영역(MIA)의 역 투영은 재구성 평면에서 오브젝트 이미지에 초점을 정확히 맞추는 깊이 정보를 제공할 수 있다. 여기서 재구성 평면의 깊이는 오브젝트의 위치와 동일하다. 따라서, 회절 격자 이미징을 통한 본 발명의 재구성 방법은 최소 이미지 영역(MIA)을 결정하고, 최소 이미지 영역(MIA)에서 캡처된 시차 이미지를 찾고, 최소 이미지 영역(MIA)를 역 투영하는 것으로 구성된다.
이상 설명한 방법에 따라 생성된 PIA는 가상 핀홀의 위치 및 각각의 요소 영상의 위치 정보 및 크기 정보가 잘 정의되어 있기 때문에 기존에 알려져 있는 CIIR 방법으로 3차원 영상 재구성(복원)이 가능하다.
이하, 도 1 내지 6을 참조하여 설명한 회절 격자 이미징 기법을 기반으로 본 발명의 실시 예에 따른 회절 격자 이미징 시스템 및 이를 이용하여 3차원 영상 재구성 방법에 대해 상세히 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템의 하드웨어 구성을 보여주는 블록도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 회절 격자 이미징(diffraction grating imaging, DGI) 시스템은 레이저 광원 유닛(110), 회절 격자 유닛(120), 카메라 장치(130) 및 컴퓨팅 장치(140)를 포함한다.
레이저 광원 유닛(110)은 서로 다른 파장을 갖는 다수의 레이저 광원들을 3차원 물체에 조사하는 장치로서, 복수의 레이저 다이오드(laser diodes)을 포함하도록 구성될 수 있다. 레이저 광원은, 예를 들면, 평면 조명(plane illumination) 레이저 광원일 수 있다.
회절 격자(diffraction grating)(120)는 3차원 물체에 반사된(산란된) 레이저 광선들을 회절시키는 유닛이다.
카메라 장치(130)는 회절 격자(120)에 의해 회절된 레이저 광선들을 픽업(pickup)(또는 캡쳐(capturing))하여, 시차 영상 배열들(parallax image arrays, PIAs)을 획득하는 장치일 수 있다.
컴퓨팅 장치(200)는 카메라 장치(130)에 의해 픽업된 시차 영상 배열들(PIAs)로부터 3차원 정보를 추출하고, 추출된 3차원 정보를 기반으로 시차 영상 배열들(PIAs)을 재구성(복원)하기 위한 컴퓨팅 연산을 수행하는 장치일 수 있다.
컴퓨팅 장치(200)는 프로세서(210), 메모리(220), 디스플레이(230), 입력 장치(240) 및 이들을 연결하는 시스템 버스(250)를 포함한다.
프로세서(210)는 후술하는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 관련된 알고리즘을 실행하고, 실행된 알고리즘에 따라 다양한 연산을 수행하는 장치로서, 예를 들면, 적어도 하나의 프로세서로 구현될 수 있다. 프로세서는, 예를 들면, 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 적어도 하나의 그래픽 프로세서들(GPUs) 또는 이들의 임의의 결합일 수 있다.
메모리(143)는 프로세서에 의해 실행되는 알고리즘들 및 이러한 알고리즘의 실행에 따라 수행된 다양한 연산과정으로부터 획득된 중간데이터(중간값) 및/또는 결과 데이터(결과값) 등을 일시적 또는 영구적으로 저장한다.
메모리(143)는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 공지의 알고리즘들의 실행 공간을 제공하는 것일 수 있다. 메모리(143)는, 예를 들면, SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-onlymemory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리 등일 수 있다.
디스플레이 장치(145)는 재구성(복원) 프로세스에 의해 재구성된 영상들을 표시하는 장치일 수 있다.
입력 장치(145)는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 다양한 사용자 입력을 생성하는 장치 일 수 있다. 예를 들면, 입력 장치(145)는 키보드일 수 있다.
도 8은 도 7에 도시한 DGI 시스템에 의해 수행되는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 설명하기 위한 도면이다.
도 8을 참조하면, DGI 시스템(또는 컴퓨팅 장치(140)의 프로세서(141))는 회절 격자(120)를 이용하여 시차 영상 배열들(PIAs)을 픽업하는 픽업 프로세스(pickup process)와 픽업된 시차 영상 배열들(PIAs)에서 3차원 정보를 추출하는 재구성(복원) 프로세스(reconstruction process)를 수행한다.
픽업 프로세스(pickup process)에서는, 평면 레이저 광원(110)이 3차원 물체(3D Object)(50)에 조사되고, 상기 3차원 물체(50)에서 반사되어 나오는 레이저 광선들 중에서 회절 격자(120)에 입사하는 레이저 광선들은 회절 격자(120)에 의해 회절 된다. 상기 회절된 레이저 광선들이 카메라(130)에 의해 픽업되면, 3차원 물체(50)에 대한 시차 영상 배열들(PIAs)이 캡쳐된다.
재구성(복원) 프로세스(reconstruction process)에서는, 역-투영(Back-projection) 방법을 기반으로 픽업된 시차 영상 배열들(PIAs)에서 공지의 역-투영(Back-projection) 방법을 이용하여 3차원 정보를 추출하는 디지털 영상 처리가 수행된다.
공지의 역-투영(Back-projection) 방법을 이용하여 시차 영상 배열들(PIAs)에서 3차원 정보를 추출하는 경우, 픽업된 시차 영상 배열들을 구분할 수 있는 패턴 정보가 없기 때문에, 이러한 점을 고려하여, 3차원 이미지의 재구성 프로세스가 수행된다.
무엇보다도, 본 발명의 실시 예에 따른 회절 격자 이미징에서는, 레이저 광원을 이용하는 점을 주목해야 한다. 회절 격자(120)를 통해 3차원 물체(50)의 표면에서 산란된(반사된) 레이저 광선들을 관측하면, 상기 산란된(반사된) 레이저 광선들이 공간상에서 주기적으로 결상됨을 확인할 수 있다.
본 명세서에서는, 상기 산란된 레이저 광선들이 공간상에서 결상되는 주기를 '공간 주기(Spatial period)'로 칭하며, 이러한 공간 주기는 시차 영상 배열들 사이의 거리로 정의할 수 있으며, 이는 물체(50)와 회절 격자(120) 사이의 거리와 비례한다. 즉, 공간 주기는 회절 각도와 직접적인 관계가 있다.
잘 알려진 회절 격자 방정식(diffraction grating equation)은 회절 각도와 레이저 광선의 파장 사이의 관계를 잘 표현하는 방정식이다. 회절 격자(120)를 통해서 관측된 물체(50) 영상의 공간 주기는 물체의 깊이가 클수록 그리고 파장이 클수록 커진다. 여기서, 물체의 깊이는 물체의 위치이다.
또한 레이저의 파장에 따라 얻어진 시차 영상 배열들은 사용된 레이저의 파장에 따라 영상의 특성이 다르다. 이는 레이저의 파장이 영상 화질에 영향을 끼침을 의미한다. 이처럼 레이저 광원에 기반한 회절 격자 이미징 시스템에 대한 연구는 진행할 가치가 있다.
본 발명에서는 기존의 회절 격자 이미징 시스템의 문제점을 줄이고 영상의 화질을 개선하기 위해서 다-파장의 레이저 광원을 이용한다. 도 8에 도시된 바와 같이, 시차 영상 배열들(PIAs)의 획득 과정(pickup process)에서, 서로 다른 파장을 갖는 레이저 광원들이 3차원 물체(50)에 순차적으로 조사된다.
본 실시 예에서는, 제1 파장(635nm)을 갖는 레드 색상(Red, R)의 레이저 광원, 제2 파장(532nm)을 갖는 그린 색상(Green, G)의 레이저 광원 및 제3 파장을 갖는 블루 색상(Blue, B)의 레이저 광원이 이용된다.
사용된 광원들의 파장에 기인한 물리적 특성은 영상 취득 과정에서 반영되어 각 광원의 파장에 따라 특성을 갖는 시차 영상 배열이 얻어진다.
파장 별로 재구성된 영상들은 깊이 해상도가 서로 다르기 때문에 단순한 영상 합성을 통하여 본 발명에서 제안하는 결과 영상을 구현할 수 없다. 따라서 본 발명에서 제안하는 방법을 구현하기 위하여 각 파장에 따른 시차 영상 배열의 공간 주기, 시스템의 깊이 해상도, 시차각을 이론적으로 분석하여 일반화된 수식을 유도하고, 시차 영상 배열들이 하나로 합성되는 재구성 프로세스가 제안된다.
본 발명에서는 서로 다른 파장을 갖는 다수의 레이저 광원들을 이용한 회절 격자 이미징 시스템을 제안하기 때문에 파장에 따른 회절 격자 이미징에 대해서 분석이 필요하다.
회절 격자 이미징에서 광원의 파장은 공간 주기에 영향을 주고, 물체의 깊이 정보(또는 물체의 위치 정보)가 공간 주기에 따라 결정되기 때문에, 공간 주기는 물체의 깊이 정보(또는 물체의 위치 정보)와 사용된 조명(예, 레이저 광원)의 파장 함수로 생각할 수 있다.
재구성 프로세스에서 공간 주기는 핵심적인 매개변수이기 때문에 하나의 깊이 정보에서 파장에 따른 공간 주기를 산출하고 파장별로 얻어진 시차 영상 배열들에서 얻어진 3차원 영상들을 합성하는 과정이 필요하다.
이를 위해, 본 발명은 광원의 파장, 공간 주기 및 깊이 해상도에 관한 분석을 제공한다.
먼저, 깊이 해상도Δz는 회절 격자 이미징 시스템에서 물체의 깊이를 인지할 수 있는 최소 거리로 정의한다. 여기서, 물체의 깊이는 물체의 위치이다. 따라서, 깊이 해상도 Δz는 두 물체들이 서로 다른 위치에 있다고 인지할 수 있는 두 물체들 사이의　최소거리로 정의할 수 있다.
회절 격자(120)에 의한 시차 영상 배열들(PIAs) 간의 거리를 공간 주기 X로 정의하면, 공간 주기 X는 아래의 수학식 9로 나타낼 수 있다.
Figure PCTKR2021017642-appb-M000009
여기서 z0는 카메라(130)의 픽업 렌즈(예, 도 2의 이미징 렌즈(43))를 기준으로 하는 물체(50)의 위치 또는 픽업 렌즈(예, 도 2의 이미징 렌즈(43))로부터 시차 이미지 평면(PI plane)까지의 거리로 정의한다. d는 회절 격자(120)와 카메라(130)에 포함된 픽업 렌즈(또는 이미징 렌즈) 사이의 거리이다(도 2의 'd'를 참조). λk는 레이저 광원의 파장이다. p는 회절 격자의 피치(pitch)이다.
회절된 레이저 광선들은 계속 직진하기 때문에, 회절 각도는 z축 방향으로 이동 거리 대비 x 축 방향으로 이동 거리로서, 도 2에 도시된 바와 같이 1차 시차 이미지(PI(x1st, yO, zO))와 0차 시차 이미지(PI(xO, yO, zO))들 사이의 각도이고, tan(θ)=Δx/Δz로 표현할 수 있다. 여기서, Δx는 공간주기의 해상도로 정의하며, 이 경우, 공간주기의 해상도 Δx는 두 물체의 깊이 정보를 인지할 수 있는　깊이 해상도를　x-축　공간 주기에서 나타낸 최소 단위이다. 따라서, 깊이 해상도 Δz는 공간 주기의 해상도 Δx를 포함하는 아래의 수학식 10으로 나타낼 수 있다.
Figure PCTKR2021017642-appb-M000010
여기서, 공간 주기의 해상도 Δx를 디지털 영상에서 픽셀 크기로 설정하면, 공간 주기는 디지털 영상의 픽셀 단위로 정의할 수 있다.
도9는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서 활용된 파장별 깊이 해상도 대비 시차 영상 배열의 공간 주기와의 관계를 보여주는 그래프이다.
도 9를 참조하면, 사용된 레이저 광원의 파장 λk는 각각 635 nm (Red), 532 nm (Green), 450 nm (Blue)이다.
도 9의 (a)는 세 개의 광원을 사용하여 획득한 원 물체에 대한 시차 영상 배열을 보여준다. 여기서 원 물체는 회절 격자(120)로부터 100 mm 떨어진 곳에 위치한다.
도 9의 (b)는 (a)에서 노란색으로 표시한 사각형 부분을 확대한 사진이다. (b)에서 볼 수 있듯이, 주어진 물체의 깊이에 대한 각 시차 영상 어레이의 공간 주기는 레드, 그린, 블루 파장의 광원에서 각각 661pixel, 553pixel, 463pixel로 측정됐다. (b)에서 볼 수 있듯이 광원의 파장이 클수록 공간 주기가 역시 커지는 것을 확인할 수 있다. 이는 수학식 (9)가 말하는 바와 잘 맞는다.
도 9의 (c)는 물체(도 2의 50)의 깊이에 대응하는 공간 주기에 대한 그래프이다. (c)에서 각 파장별 그래프는 모두 선형임을 알 수 있다. 다만 기울기는 파장이 클수록 커진다. 이는 깊이 해상도의 정밀도는 광원의 파장 클수록 높아짐을 의미한다.
또한 그래프의 기울기는 공간 주기 대비 깊이 해상도를 의미하고 일정한 값을 갖는 것은 깊이 해상도가 물체의 깊이와 무관하다는 특징을 의미한다. 이것은 통상 카메라 배열을 통해서 깊이 정보의 해상도가 거리가 멀수록 악화되는 것과 비교하면 상당히 중요한 장점이라고 할 수 있다.
이런 결과는 3차원 영상 시스템을 이용한 깊이 정보 추출할 때, 회절 격자 이미징 시스템의 설계에서 중요한 요소로 활용될 수 있다.
또한, (c)에서 제공하는 그래프는 재구성 프로세스에서 매우 중요한 정보로 사용된다. 즉 목표 위치에서 3차원 영상을 재구성할 때 각 파장별로 얻어진 시차 영상 배열에서 적용할 공간 주기를 계산해주어야 한다. 예를 들면, 도 9의 예시처럼 위치 100에서 복원할 3차원 평면 영상은 레드-파장 시차 영상 배열에서는 공간 주기를 661픽셀, 그린에서는 553픽셀, 그리고 블루에서는 463픽셀로 설정해야 한다. 따라서 광학 장치가 설계된 후에 앞 문단에서 논의한 것과 같이 (c)의 그래프가 확정되면, 재구성 프로세스에서 필요로 하는 모든 위치에서 파장별 공간 주기들을 제공할 수 있다.
회절 격자 이미징의 시차 영상 배열(PIAs)은 렌즈 어레이나 카메라 어레이와 다른 형태를 가지므로 회절 격자 이미징에서 시차 영상 배열로부터 3차원 볼륨을 생성하기 위해서는 재구성 방법이 필요하다.
도 10은 본 발명의 실시 예에 따른 재구성 프로세스를 설명하기 위한 도면이다.
도 10을 참조하면, 다중 파장 레이저에 의해 순차적으로 조명된 물체의 시차 영상 배열들(PIAs)은 3차원 볼륨을 재구성하기 위한 입력 데이터로 사용된다.
3차원 볼륨의 재구성은 시차 영상 배열들(PIAs)을 입력 데이터로 이용하는 가상 핀홀 어레이를 기반으로 하는 역-투영 방법(back-projection)이 이용된다. 시차 영상 배열들(PIAs)을 3-D 재구성 공간(3-D reconstruction space)으로 투영하기 위해 가상 핀홀들(VPs: Virtual Pinholes)이 정의된다. 전술한 바와 같이, 가상 핀홀(VP)은 가상의 카메라를 표현한 것이다.
가상 핀홀(virtual pinhole) 어레이를 기반으로 하는 역-투영 방법(back-projection)은 각 파장에 대해 주어진 깊이 z에서 재구성 평면 이미지를 제공한다. 여기서 사용하는 레이저 광원의 파장 λk는 635nm(적색), 532nm(녹색), 450nm(청색)이므로, 이 경우 3개의 재구성 영상(11. 12, 13)이 생성된다.
다중 파장에 따라서 개별적으로 재구성 영상(11. 12, 13)은 동일한 깊이에 있어야 하는데 이때 필요한 중요한 정보가 공간 주기(Spatial periods)를 활용하는 것이고, 도 9의 (c)에 도시한 그래프에 기반 공간 주기 계산 방법에 의해 얻어낸다.
그런 다음, 단일 파장에 해당하는 재구성된 이미지를 스펙트럼 선택 방법에 적용한다. 따라서 주어진 깊이 z에서 최종 재구성된 영상(14)이 얻어진다. 모든 깊이에 대해 이 과정을 반복하면 회절 격자 이미징에서 3D 볼륨이 제공된다.
도11은 깊이 104 mm의 물체에 대해서 재구성된 영상들과 노란색 사각형으로 표시된 영역을 확대한 영상들을 보여준다.
도 11의 (a)~(g)는 재구성 영상에 따라 사람 물체의 표면에 대한 선명도 비교 평가를 보여준다. (b)와 (c)에서 라인 형태의 두꺼운 노이즈가 발생됨을 확인할 수 있다. 이 노이즈는 시차 영상 배열들 사이에 발생한 간섭으로 1차 회절 시차 영상이 0차 회절 시차 영상과의 간섭에서 발생한다.
회절 격자 영상의 시차 영상들은 회절의 고유 특성상 간섭이 발생할 수 있다. 이러한 간섭은 공간 주기가 짧을수록 조명의 강도가 강할수록 잘 발생한다. 이번 광학 실험에서는 녹색과 블루 레이저에서 발생하고 레드 레이저의 경우 시차 영상 간에 공간 주기가 충분해서 오버랩되는 영역이 발생하지 않았음을 (a)에서 보여준다.
(d)~(g)에서 확인할 수 있듯이 간섭 노이즈는 다-파장을 사용하여 재구성한 영상에서 상당 부분 제거된다. 또한 다 파장 재구성 결과는 재구성 과정에 더 많은 시차영상이 참여할수록 파장 선택에 따라서 재구성 영상에서 노이즈 제거 효과가 뛰어나다는 것을 보여준다. 특히, 화살표로 지시한 부분을 관찰하면, 단파장 복원 결과에서 레드 파장보다는 블루 파장이 보다 선명한 영상을 제공한다.
반면에 스펙클 잡음은 블루 파장에서 보다 더 강하게 남은 것으로 보인다. 다 파장 복원의 경우 해상도가 증가함과 동시에 시차 영상 간 간섭, 스펙클 잡음 등은 현저히 감쇠하는 것으로 관찰된다.
도 12는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템을 이용하여 3차원 영상을 재구성하는 방법을 나타내는 흐름도이다.
도 12를 참조하면, 먼저, 단계 S110에서, 회절 격자(120)가, 서로 다른 파장의 레이저 광원들을 물체(50)에 조사하여, 상기 물체(50)에 반사된 제1 내지 제3 레이저 광선을 회절시키는 단계를 수행한다.
이어, 단계 S120에서, 카메라 장치(130)가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계를 수행한다.
이어, 단계 S130에서, 컴퓨팅 장치(140)의 프로세서(141)가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상(11, 12, 13)을 획득하는 단계를 수행한다.
이어, 단계 S140에서, 상기 프로세서(141)가, 상기 제1 내지 제3 재구성 영상을 합성(Merge & combination)하여, 상기 물체(50)의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계를 수행한다.
실시 예에서, 상기 제1 내지 제3 레이저 광선을 회절시키는 단계(S110)는, 레이저 광원(110)이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체(50)에 순차적으로 조사하는 단계와 상기 회절 격자(120)가, 상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 단계를 포함할 수 있다.
실시 예에서, 레이저 광원(110)이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체(50)에 순차적으로 조사하는 단계는, 제1 파장의 적색 레이저 광원, 제2 파장의 녹색 레이저 광원 및 제3 파장의 청색 레이저 광원을 상기 물체에 순차적으로 조사하는 단계일 수 있다.
실시 예에서, 상기 제1 내지 제3 재구성 영상을 획득하는 단계(S130)는, 서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하는 단계와 상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 공간 주기를 계산하는 단계는, 상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우, 상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하는 단계, 상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하는 단계 및 상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 단계를 포함할 수 있다.
실시 예에서, 상기 회절 격자로부터 상기 물체까지의 거리(z)는 수학식 9에 포함된
Figure PCTKR2021017642-appb-I000001
또는 도 2에 도시된
Figure PCTKR2021017642-appb-I000002
일 수 있다.
실시 예에서, 상기 공간 주기의 해상도(Δx)를 계산하는 단계는,
Figure PCTKR2021017642-appb-I000003
을 이용하여 계산하는 단계이고, 여기서, 상기 Δz는 물체의 깊이를 인지할 수 있는 최소 거리로 정의되는 깊이 해상도 또는 상기 회절 격자로부터 상기 물체까지의 거리(z)이고, λk는 레이저 광원의 파장이고, p는 회절 격자의 피치(pitch)이다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명의 회절 격자 이미징 시스템은 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성하는 산업분야에서 활용될 수 있다.

Claims (11)

  1. 회절 격자가, 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사된 제1 내지 제3 레이저 광선을 회절시키는 단계;
    카메라 장치가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계;
    프로세서가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하는 단계; 및
    상기 프로세서가, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계;
    를 포함하는 3차원 영상을 재구성하는 방법.
  2. 제1항에서,
    상기 제1 내지 제3 레이저 광선을 회절시키는 단계는,
    레이저 광원이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체에 순차적으로 조사하는 단계;
    상기 회절 격자가, 상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 단계
    를 포함하는 3차원 영상을 재구성하는 방법.
  3. 제2항에서,
    상기 물체에 순차적으로 조사하는 단계는,
    제1 파장의 적색 레이저 광원, 제2 파장의 녹색 레이저 광원 및 제3 파장의 청색 레이저 광원을 상기 물체에 순차적으로 조사하는 단계인 것인 3차원 영상을 재구성하는 방법.
  4. 제1항에서,
    상기 제1 내지 제3 재구성 영상을 획득하는 단계는,
    서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하는 단계; 및
    상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 획득하는 단계
    를 포함하는 3차원 영상을 재구성하는 방법.
  5. 제4항에서,
    상기 공간 주기를 계산하는 단계는,
    상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우,
    상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하는 단계;
    상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하는 단계; 및
    상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 단계
    를 포함하는 3차원 영상을 재구성하는 방법.
  6. 제4항에서,
    상기 공간 주기의 해상도(Δx)를 계산하는 단계는,
    Figure PCTKR2021017642-appb-I000004
    을 이용하여 계산하는 단계이고,
    여기서, 상기 Δz는 물체의 깊이를 인지할 수 있는 최소 거리로 정의되는 깊이 해상도 또는 상기 회절 격자로부터 상기 물체까지의 거리(z)이고, λk는 레이저 광원의 파장이고, p는 회절 격자의 피치(pitch)인 것인 3차원 영상을 재구성하는 방법.
  7. 서로 다른 파장의 레이저 광원들을 물체에 조사하는 레이저 광원 유닛;
    상기 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 회절 격자;
    상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 카메라 장치; 및
    가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하고, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 컴퓨팅 장치
    를 포함하는 회절 격자 이미징 시스템.
  8. 제7항에서,
    상기 레이저 광원은,
    제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체에 순차적으로 조사하는 것인 회절 격자 이미징 시스템.
  9. 제8항에서,
    상기 회절 격자는,
    상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 것인 회절 격자 이미징 시스템.
  10. 제7항에서,
    상기 컴퓨팅 장치는,
    서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하고, 상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 생성하는 것인 회절 격자 이미징 시스템.
  11. 제10항에서,
    상기 컴퓨팅 장치는,
    상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우, 상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하고, 상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하고, 상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 것인 회절 격자 이미징 시스템.
PCT/KR2021/017642 2021-09-27 2021-11-26 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 WO2023048338A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0127399 2021-09-27
KR1020210127399A KR102499494B1 (ko) 2021-09-27 2021-09-27 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템

Publications (1)

Publication Number Publication Date
WO2023048338A1 true WO2023048338A1 (ko) 2023-03-30

Family

ID=85202773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017642 WO2023048338A1 (ko) 2021-09-27 2021-11-26 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템

Country Status (2)

Country Link
KR (1) KR102499494B1 (ko)
WO (1) WO2023048338A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JANG JAE-YOUNG, YOO HOON: "Image Enhancement of Computational Reconstruction in Diffraction Grating Imaging Using Multiple Parallax Image Arrays", SENSORS, vol. 20, no. 18, pages 5137, XP093054446, DOI: 10.3390/s20185137 *

Also Published As

Publication number Publication date
KR102499494B1 (ko) 2023-02-13

Similar Documents

Publication Publication Date Title
EP1643210B1 (en) Method and apparatus for measuring shape of an object
Ma et al. Numerical reconstruction of digital holograms for three-dimensional shape measurement
US6256099B1 (en) Methods and system for measuring three dimensional spatial coordinates and for external camera calibration necessary for that measurement
CA2319898C (en) Position encoding optical device and method
US7189984B2 (en) Object data input apparatus and object reconstruction apparatus
AU2004273957B2 (en) High speed multiple line three-dimensional digitization
NL1034928C (nl) Systeem voor het functioneel behandelen van wafelspanning.
WO2019117453A1 (ko) 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치
KR100838586B1 (ko) 디지털 홀로그래피를 이용한 ３ｄ측정장치 및 ３ｄ측정방법
US10684589B2 (en) Apparatus and method for in-line holographic imaging
WO2019078384A1 (ko) 개선된 홀로그래픽 복원 장치 및 방법
WO2023075368A1 (ko) 물체 형상 복원 방법
WO2023048338A1 (ko) 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
JPH07248212A (ja) 三次元形状計測装置
KR102317836B1 (ko) 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
JPH0758172B2 (ja) 形状測定方法およびその装置
US11480917B2 (en) Method and apparatus for reconstructing three-dimensional image by using diffraction grating
JP2015081894A (ja) 表面形状測定装置及び表面形状測定方法
WO2020149527A1 (en) Apparatus and method for encoding in structured depth camera system
JP4141627B2 (ja) 情報獲得方法、画像撮像装置及び、画像処理装置
Blais et al. ShapeGrabber FootScanner: a low cost high accuracy 3D system for the acquisition of human feet
Benveniste et al. Single stripe projection based range scanning of shiny objects under ambient light
JP4266286B2 (ja) 距離情報取得装置、および距離情報取得方法
RU2215317C2 (ru) Профилограф

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE