KR20210061285A - Correction method of three-dimensional image based on multi-wavelength light - Google Patents
Correction method of three-dimensional image based on multi-wavelength light Download PDFInfo
- Publication number
- KR20210061285A KR20210061285A KR1020200155002A KR20200155002A KR20210061285A KR 20210061285 A KR20210061285 A KR 20210061285A KR 1020200155002 A KR1020200155002 A KR 1020200155002A KR 20200155002 A KR20200155002 A KR 20200155002A KR 20210061285 A KR20210061285 A KR 20210061285A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- correcting
- correction
- light source
- image based
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 title claims abstract description 33
- 238000003702 image correction Methods 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 12
- 239000000463 material Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000013519 translation Methods 0.000 description 6
- 239000002086 nanomaterial Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 다파장 광원 기반 3차원 영상의 보정방법에 관한 것으로, 보다 상세하게는 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 각각 제1 이미지 및 제2 이미지를 바탕으로 3차원 영상을 획득할 때, 렌즈를 구성하는 물질의 굴절률이 파장에 따라 서로 다름에 따라 발생하는 파장 오차 및/또는 제1 영상장치 및 상기 제2 영상장치간의 광정렬 오차에 의하여 발생하는 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있는 다파장 광원 기반 3차원 영상의 보정방법에 관한 것이다.The present invention relates to a method of correcting a 3D image based on a multi-wavelength light source, and more particularly, a plurality of imaging devices simultaneously using a light source that individually outputs first wavelength light and second wavelength light having different wavelengths. When acquiring a 3D image based on the first image and the second image for the same sample, respectively, the wavelength error and/or the first imaging device and/or the first imaging device and/or It is possible to obtain a high-resolution 3D image without interference by correcting the difference in size of the first image and the second image caused by the optical alignment error between the second imaging devices, the difference in the focus position, the difference in the translation position, and the difference in the rotation position. The present invention relates to a method of correcting a 3D image based on a multi-wavelength light source.
현미경으로 대표되는 3차원 영상 획득장치는 일반적으로 회절 광학 한계의 제한을 받아, 현미경이 가지는 이미징 해상도보다 작은 구조는 분별할 수 없었다. 현미경의 해상도는 광의 파장이 짧을수록, 대물렌즈의 개구수가 클수록 높아지기는 하나, 회절 광학 한계에 제한을 받기 때문에 무한정 높일 수는 없었다.A 3D image acquisition device represented by a microscope is generally limited by the diffraction optical limit, and thus a structure smaller than the imaging resolution of the microscope cannot be discriminated. Although the resolution of the microscope increases as the wavelength of light decreases and the numerical aperture of the objective lens increases, it cannot be increased indefinitely because it is limited by the diffraction optical limit.
최근 나노 기술이 발달함에 따라, 마이크로/나노 구조를 갖는 샘플에 대한 고속 검출은 샘플의 분석 과정에서 없어서는 안되는 기술수단이고, 생물공학 또는 의학 연구에서는 더 미세한 구조에 대해 특성 검출 및 분석을 하기 위한 더 높은 해상도(나노급)의 3차원 영상 획득장치가 요구되고 있다.With the recent development of nanotechnology, high-speed detection of samples with micro/nano structures is an indispensable technical means in the process of analyzing samples, and in biotechnology or medical research, it is better to detect and analyze properties of finer structures. A high-resolution (nano-level) 3D image acquisition device is required.
이러한 초고해상도 이미징을 실현하기 위해 다양한 방식의 현미경들이 개발되어 왔다. CCD/CMOS 등의 이미지센서가 갖는 분해능을 높여 판별 가능한 이미지 픽셀의 수를 극대화하는 방식, 비구면 렌즈 등 렌즈에서 발생하는 색수차를 최소화하는 방식, 이미지센서로부터 획득한 영상을 디지털 프로세싱을 통해 보정하여 해상도를 높이는 방식 등을 적용한 현미경들이 현재 사용되고 있다.Various types of microscopes have been developed to realize such ultra-high resolution imaging. A method of maximizing the number of discriminable image pixels by increasing the resolution of image sensors such as CCD/CMOS, a method of minimizing chromatic aberration that occurs in lenses such as aspherical lenses, and a method of correcting the image acquired from an image sensor through digital processing to achieve resolution. Microscopes to which the method of increasing the is applied are currently being used.
최근에는 다수의 이미지를 획득하고 이를 디지털 프로세싱을 통해 후처리하는 복합 방식의 3차원 영상 획득장치들이 제안되고 있다. 대표적으로, 노출을 달리한 이미지를 다수 획득하여 디지털 후처리를 통해 광학 심도를 향상시키는 HDR(High Dynamic Range)기법, 샘플에 입사되는 광에 미리 설정된 패턴을 주어 패턴 이미지와 비패턴 이미지를 서로 비교 처리하여 해상도를 향상시키는 SIM(Structured Illumination Modulation)기법 등이 있다.Recently, complex 3D image acquisition apparatuses have been proposed that acquire multiple images and post-process them through digital processing. Typically, a high dynamic range (HDR) technique that acquires multiple images with different exposures to improve optical depth through digital post-processing, and compares patterned and non-patterned images by giving a preset pattern to the light incident on the sample. There is a SIM (Structured Illumination Modulation) technique that improves the resolution by processing.
HDR기법과 SIM기법의 공통점은 어떠한 특성을 부여한 다수의 이미지를 획득하여 디지털 프로세싱을 통하여 해상도가 향상된 단일의 이미지를 획득한다는 것이다. 그러나 HDR기법은 다수의 이미지를 획득하기 위해 상대적으로 많은 시간이 소요된다는 문제점이 있고, SIM기법은 3차원 고해상도 영상을 얻을 수 있다는 측면에서 유리하나 다수의 영상을 순차적으로 획득함으로써, 영상속도 측면에서는 느리다는 문제점이 있었다.The common point between the HDR technique and the SIM technique is that a single image with improved resolution is obtained through digital processing by acquiring multiple images with certain characteristics. However, the HDR technique has a problem that it takes a relatively long time to acquire multiple images, and the SIM technique is advantageous in that it can obtain 3D high-resolution images, but by sequentially acquiring multiple images, in terms of image speed There was a problem that it was slow.
따라서, 다파장 광원을 기반으로 하되, 서로 다른 파장광을 출력함으로써 2차원 영상을 획득하고, 복수의 2차원 영상을 통해 3차원 영상을 생성함으로써 보다 빠르게 3차원 영상을 획득할 수 있으나, 서로 다른 파장광을 출력함으로써 2차원 영상을 획득할 때, 복수의 2차원 영상은 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이가 발생하는 문제점이 있다.Therefore, it is based on a multi-wavelength light source, but it is possible to obtain a 3D image more quickly by obtaining a 2D image by outputting light of different wavelengths and generating a 3D image through a plurality of 2D images. When obtaining a 2D image by outputting wavelength light, there is a problem in that a plurality of 2D images have a size difference, a focus position difference, a translation position difference, and a rotation position difference.
본 발명에서 해결하고자 하는 과제는 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 각각 제1 이미지 및 제2 이미지으로 영상화할 때, 렌즈를 구성하는 물질의 굴절률이 파장에 따라 서로 다름에 따라 발생하는 파장 오차 및/또는 제1 영상장치 및 상기 제2 영상장치간의 광정렬 오차에 의하여 발생하는 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있는 다파장 광원 기반 3차원 영상의 보정방법을 제공하는 것이다.The problem to be solved in the present invention is to use a light source that individually outputs the first wavelength light and the second wavelength light having different wavelengths, using a plurality of imaging devices to simultaneously convert the same sample into a first image and a second image, respectively. When imaging, the first image and the second image caused by a wavelength error caused by the difference in refractive index of the material constituting the lens according to the wavelength and/or the optical alignment error between the first imaging device and the second imaging device. It is to provide a correction method for a 3D image based on a multi-wavelength light source capable of obtaining a high-resolution 3D image without interference by correcting the difference in image size, focus position, translation position, and rotation position difference.
상술한 과제를 해결하기 위하여, 본 발명은 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 3차원 영상을 생성하는 3차원 영상 획득장치로부터 획득되는 상기 3차원 영상을 보정하는 방법에 있어서, 상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득하는 이미지 획득단계와, 보정에 기준이 되는 상기 제1 이미지와, 보정의 대상이 되는 상기 제2 이미지 각각의 기준영역을 설정하는 기준영역 설정단계와, 상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴 모서리 좌표값을 인식하는 좌표값 인식단계와, 상기 좌표값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 이미지 보정단계를 포함하는 다파장 광원 기반 3차원 영상의 보정방법을 제공한다.In order to solve the above-described problem, the present invention provides the 3D image acquisition device obtained from a 3D image acquisition device that generates a 3D image using a light source that separately outputs first wavelength light and second wavelength light having different wavelengths. A method of correcting a dimensional image, comprising: an image acquisition step of simultaneously acquiring a first image and a second image for the same sample by a plurality of imaging apparatuses using the light source; and the first image serving as a reference for correction; A reference region setting step of setting a reference region of each of the second images to be corrected; a coordinate value recognition step of recognizing a coordinate value of a pattern edge of each of the reference regions of the first image and the second image; and A method for correcting a 3D image based on a multi-wavelength light source including an image correction step of correcting the second image based on the first image based on a coordinate value is provided.
여기서, 상기 좌표값 인식단계는 상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴이 가지고 있는 모서리 영역을 검출하는 모서리 검출단계와, 상기 모서리에 해당하는 좌표값을 출력하는 좌표값 출력단계를 포함할 수 있다.Here, the coordinate value recognition step includes an edge detection step of detecting an edge area of each pattern of the reference area for each of the first image and the second image, and a coordinate value output step of outputting a coordinate value corresponding to the edge. It may include.
또한, 상기 이미지 보정단계는 상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기, 크기 및 중심 픽셀의 위치값을 계산하는 위치값 계산단계와, 상기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 XY축 이미지 보정단계와, 상기 제1 이미지 및 상기 제2 이미지의 스택(stack)을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 Z축 이미지 보정단계를 포함할 수 있다.In addition, the image correction step includes a position value calculation step of calculating a slope, a size, and a position value of a center pixel based on the coordinate values of each of the first image and the second image, and the position value, based on the position value, An XY-axis image correction step of correcting the second image based on the first image, and the second image based on the first image based on a stack of the first image and the second image. It may include a Z-axis image correction step of correcting.
또한, 상기 XY축 이미지 보정단계는 상기 위치값 계산단계에서 계산된 상기 기울기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 회전시켜 보정하는 회전위치 보정단계와, 상기 위치값 계산단계에서 계산된 상기 크기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 확대 또는 축소시켜 크기가 같도록 보정하는 스케일 보정단계와, 상기 위치값 계산단계에서 계산된 상기 중심 픽셀 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 x축과 y축 위치 차이만큼 이동시켜 정렬하는 병진위치 보정단계를 포함할 수 있다.In addition, the XY axis image correction step includes a rotation position correction step of rotating and correcting the second image based on the first image based on the tilt position value calculated in the position value calculation step, and the position Based on the size position value calculated in the value calculation step, a scale correction step of expanding or reducing the second image based on the first image to correct the size to be the same, and the calculated position value calculation step Based on the center pixel position value, a translation position correction step of moving and aligning the second image by an x-axis and y-axis position difference with respect to the first image may be included.
또한, 상기 Z축 이미지 보정단계는 상기 제1 이미지 및 상기 제2 이미지으로부터 가장 콘트라스트가 높은 영상위치를 각각 검출하는 콘트라스트 검출단계 및 상기 제1 이미지의 콘트라스트를 기준으로 상기 제2 이미지의 z축 높이 위치를 보정하는 콘트라스트 기반 보정단계를 포함할 수 있다.In addition, the Z-axis image correction step includes a contrast detection step of detecting an image position with the highest contrast from the first image and the second image, respectively, and a z-axis height of the second image based on the contrast of the first image. It may include a contrast-based correction step of correcting the position.
본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법은 다음과 같은 효과가 있다.The method of correcting a 3D image based on a multi-wavelength light source according to the present invention has the following effects.
첫째, 서로 파장이 다른 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있다. First, it is possible to obtain a high-resolution 3D image without interference by correcting a difference in size, a difference in focus position, a difference in translation position, and a difference in rotation position between the first image and the second image having different wavelengths.
둘째, 서로 다른 파장을 가진 2개의 광원을 이용하여 동시에 동일 물체에 대해서 파장에 따른 서로 다른 2개의 영상 정보를 획득할 수 있으므로, 영상 획득 속도가 2배 빨라지는 이점이 있다.Second, since two light sources having different wavelengths can be used to simultaneously acquire two different image information according to a wavelength for the same object, there is an advantage that an image acquisition speed is doubled.
셋째, 2개 이상의 파장을 이용할 수 있으며, 파장 수의 배수만큼 영상 속도가 빨라지는 이점이 있다.Third, it is possible to use two or more wavelengths, and there is an advantage in that the image speed is increased by a multiple of the number of wavelengths.
넷째, 서로 다른 파장을 이용함으로써 서로 다른 파장을 통해 획득된 영상 간의 간섭이 전혀 존재하지 않는 이점이 있다.Fourth, by using different wavelengths, there is an advantage that there is no interference between images acquired through different wavelengths.
도 1은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 단계를 도시한 도면이다.
도 2는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 일 예를 도시한 도면이다.
도 3은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 이미지 획득단계를 도시한 도면이다.
도 4는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 기준영역 설정단계를 도시한 도면이다.
도 5는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 모서리 검출단계를 도시한 도면이다.
도 6은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 좌표값 출력단계를 도시한 도면이다.
도 7은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 위치값 계산단계를 도시한 도면이다.
도 8은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 XY축 이미지 보정단계를 도시한 도면이다.
도 9는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 Z축 이미지 보정단계를 도시한 도면이다.1 is a diagram showing a step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
2 is a diagram showing an example of a 3D image acquisition apparatus using a method of correcting a 3D image based on a multi-wavelength light source according to the present invention.
3 is a diagram showing an image acquisition step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
4 is a diagram showing a step of setting a reference region in a method of correcting a 3D image based on a multi-wavelength light source according to the present invention.
5 is a diagram illustrating an edge detection step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
6 is a diagram illustrating a coordinate value output step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
7 is a diagram illustrating a position value calculation step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
8 is a diagram illustrating an XY-axis image correction step of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
9 is a diagram showing a Z-axis image correction step of the method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
이하, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 실시예들을 첨부된 도면을 참조하여 상세히 설명한다. 본 발명과 관련하여 공지된 기술에 대한 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 공지된 기술에 대한 구체적인 설명을 생략한다.Hereinafter, embodiments of a method for correcting a 3D image based on a multi-wavelength light source according to the present invention will be described in detail with reference to the accompanying drawings. When it is determined that a description of a known technology in connection with the present invention may obscure the subject matter of the present invention, a detailed description of the known technology will be omitted.
도 1 내지 도 9를 참조하여, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 설명하면 다음과 같다.A method of correcting a 3D image based on a multi-wavelength light source according to the present invention will be described with reference to FIGS. 1 to 9.
먼저, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 설명하기 앞서, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 구성을 설명하면 다음과 같다First, prior to describing the method for correcting a 3D image based on a multi-wavelength light source according to the present invention, a configuration of a 3D image acquisition apparatus using the method for correcting a 3D image based on a multi-wavelength light source according to the present invention will be described as follows. same
도 2는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 구성을 개략적으로 나타낸 도면이다.2 is a diagram schematically showing the configuration of a 3D image acquisition apparatus using a method for correcting a 3D image based on a multi-wavelength light source according to the present invention.
도 2를 참조하면, 본 실시예에 따른 고해상도를 갖는 3차원 영상 획득장치는 3차원 마이크로/나노 구조를 갖는 샘플에 파장이 다른 파장광을 조사하고, 샘플에서 방출되는 반사광을 조합하여 3차원 영상을 획득하는 고해상도를 갖는 3차원 영상 획득장치에 관한 것으로서, 광원, 빔 컴바이너(200), 튜브렌즈(300), 대물렌즈(400), 축방향 이송장치(500), 영상렌즈(600), 빔 스플리터(700), 영상장치 및 영상생성부(미도시)를 포함한다.Referring to FIG. 2, the apparatus for acquiring a 3D image having a high resolution according to the present embodiment irradiates light with wavelengths of different wavelengths to a sample having a 3D micro/nano structure, and combines the reflected light emitted from the sample to provide a 3D image. A 3D image acquisition device having a high resolution for acquiring a light source, a beam combiner 200, a
상기 광원은 상기 광원은 3차원 마이크로/나노 구조를 갖는 샘플에 조사시키기 위한 복수의 파장광을 출력하며, 구체적으로 각각 제1 파장광 및 제2 파장광을 가지는 제1 광원(110) 및 제2 광원(120)을 포함하며, 샘플에 파장광을 조사하면, 3차원 마이크로/나노 구조를 갖는 샘플에 반사되어 파장반사광을 생성하게 된다.As for the light source, the light source outputs a plurality of wavelength lights for irradiating a sample having a three-dimensional micro/nano structure, and specifically, a
상기 빔 컴바이너(200)는 상기 제1 광원(110) 및 상기 제2 광원(120)을 동일한 광경로로 전달하며, 동일한 광경로로 진행하는 상기 제1 광원(110) 및 상기 제2 광원(120)는 상기 튜브렌즈(300), 상기 대물렌즈(400), 상기 영상렌즈(600)를 지나며, 상기 빔 스플리터(700)에서 파장이 서로 다른 영상을 수직방향으로 분리되며, 즉, 상기 영상장치가 포함하는 제1 영상장치(810) 및 상기 제2 영상장치(820)로 분리된다. 이때, 상기 축방향 이송장치(500)는 상기 대물렌즈(400)를 축방향으로 이송시키는 역할을 수행한다.The beam combiner 200 transmits the
상술한 과정은 2차원의 해상도 타켓을 이용하여 영상장치의 광학계가 완전히 고정된 후 1회에 한하여 보정을 하는 것으로, 광학계의 변동이 있는 경우, 다시 보정을 진행한다.In the above-described process, correction is performed only once after the optical system of the imaging apparatus is completely fixed using a two-dimensional resolution target. If there is a change in the optical system, the correction is performed again.
상기 영상생성부는 상기 제1 이미지 및 상기 제2 이미지을 조합하여 샘플에 대한 3차원 영상을 생성하며, 구체적으로 미리 입력된 연산 알고리즘을 통해 하나의 픽셀 정보를 산출하고, 산출된 픽셀 정보들을 모두 조합하며, 이를 통해 샘플의 3차원 영상을 얻게 된다.The image generator generates a 3D image for a sample by combining the first image and the second image, and specifically calculates one pixel information through a pre-input calculation algorithm, and combines all the calculated pixel information. , Through this, a 3D image of the sample is obtained.
이와 같이 구성되는 본 발명에서의 고해상도를 갖는 3차원 영상 획득장치는 복수의 파장광을 샘플에 조사하여 조합할 이미지들을 동시에 획득함으로써, 영상 획득 시간을 단축할 수 있는 효과를 얻을 수 있다.The 3D image acquisition apparatus having a high resolution according to the present invention configured as described above can obtain an effect of shortening an image acquisition time by simultaneously acquiring images to be combined by irradiating a plurality of wavelength lights onto a sample.
도 1에 도시된 바와 같이, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법은 이미지 획득단계(S100), 기준영역 설정단계(S200), 좌표값 인식단계(S300), 이미지 보정단계(S400)를 포함한다.As shown in FIG. 1, the method of correcting a 3D image based on a multi-wavelength light source according to the present invention includes an image acquisition step (S100), a reference region setting step (S200), a coordinate value recognition step (S300), and an image correction step ( S400).
상기 이미지 획득단계(S100)에서는 상술한 고해상도를 갖는 3차원 영상 획득장치로부터 상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득한다.In the image acquisition step (S100), a first image and a second image of the same sample are simultaneously acquired by a plurality of imaging devices using the light source from the 3D image acquisition device having the above-described high resolution.
예를 들어, 도 3에 도시된 바와 같이, 제1 이미지(I1) 및 제2 이미지(I2)를 획득하며, 이때 상기 제1 이미지(I1)와 상기 제2 이미지(I2)는 일치하지 않으므로, 정렬이 필요하게 된다.For example, as shown in FIG. 3, a first image I1 and a second image I2 are obtained, and at this time, since the first image I1 and the second image I2 do not match, Alignment is required.
여기서, 상기 제1 이미지(I1)와 제2 이미지(I2)는 2차원 이미지이며, 상기 제1 이미지(I1)와 제2 이미지(I2) 중 긴 파장의 이미지를 기준 이미지로 하고, 짧은 파장의 이미지를 보정 이미지로 한다. 본 명세서에서 기준영상은 제1 이미지(I1)이고, 보정영상은 제2 이미지(I2)로 정의한다.Here, the first image I1 and the second image I2 are two-dimensional images, and an image having a long wavelength among the first image I1 and the second image I2 is used as a reference image, and Make the image a correction image. In this specification, the reference image is defined as the first image I1, and the corrected image is defined as the second image I2.
상기 기준영역 설정단계(S200)에서는 보정에 기준이 되는 상기 제1 이미지(I1)와 제2 이미지(I2) 각각의 기준영역을 설정한다.In the reference region setting step S200, a reference region of each of the first image I1 and the second image I2, which is a reference for correction, is set.
즉, 도 4에 도시된 바와 같이, 상기 제1 이미지(I1)와 제2 이미지(I2) 각각으로부터 이미지 보정에 필요한 픽셀 데이터 수집 영역인 기준영역(A1, A2)을 설정한다.That is, as shown in FIG. 4, reference areas A1 and A2, which are pixel data collection areas required for image correction, are set from each of the first image I1 and the second image I2.
이때, 상기 픽셀 데이터는 촬영한 대상 자체에 존재하는 패턴일 수도 있고, 또는 구조조명 등과 같은 패턴 형성 장치로부터 구현되는 패턴, 예를 들어 Ronchi-ruling과 같은 등간격의 줄무늬 패턴일 수도 있다. In this case, the pixel data may be a pattern existing in the object to be photographed, or a pattern implemented from a pattern forming apparatus such as structural lighting, for example, a stripe pattern of equal intervals such as Ronchi-ruling.
본 명세서에서는 촬영한 대상 자체에 존재하는 패턴을 기준으로 서술하였으며, 패턴 형상 장치로부터 구현되는 패턴은 촬영한 대상 자체에 존재하는 패턴이 없는 경우 사용되는 것이 바람직하다.In the present specification, it has been described based on a pattern existing in the photographed object itself, and the pattern implemented from the pattern shape device is preferably used when there is no pattern present in the photographed object itself.
상기 좌표값 인식단계(S300)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)별 기준영역 각각 패턴의 모서리에 대한 좌표값을 인식하며, 구체적으로 상기 좌표값 인식단계(S300)는 모서리 검출단계(S310)와, 좌표값 출력단계(S320)를 포함한다.In the coordinate value recognition step (S300), the coordinate values of the corners of the pattern are recognized in the reference regions for each of the first image (I1) and the second image (I2). Specifically, the coordinate value recognition step (S300) It includes a corner detection step (S310) and a coordinate value output step (S320).
상기 모서리 검출단계(S310)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)별 기준영역에서 각각의 패턴의 모서리 영역(E1, E2)을 검출한다. 즉, 도 5에 도시된 바와 같이, 패턴별 외곽 라인을 먼저 검출하고, 이후 모서리 영역을 검출한다.In the edge detection step S310, edge areas E1 and E2 of each pattern are detected in the reference areas for each of the first image I1 and the second image I2. That is, as shown in FIG. 5, the outer line for each pattern is first detected, and then the edge area is detected.
이후, 상기 좌표값 출력단계(S320)에서 검출된 상기 모서리에 해당하는 좌표값을 출력한다. 즉, 도 6에 도시된 바와 같이, 패턴별 모서리 영역을 기반하여, 4개의 직선 작도(C1, C2) 및 교점에 대한 좌표값을 출력한다.Thereafter, a coordinate value corresponding to the corner detected in the coordinate value output step S320 is output. That is, as shown in FIG. 6, based on the corner area for each pattern, four straight line constructions C1 and C2 and coordinate values for intersection points are output.
상기 좌표값을 도 7에 도시된 제2 이미지를 예시로 설명하면, 위치에 따라 (x1,1, y1,1), (x1,2, y1,2), (x1,3, y1,3), (x1,4, y1,4)로 정의될 수 있다.When the coordinate value is described with the second image shown in FIG. 7 as an example, (x 1,1 , y 1,1 ), (x 1,2 , y 1,2 ), (x 1,3) according to the position , y 1,3 ), (x 1,4 , y 1,4 ).
상기 이미지 보정단계(S400)에서는 출력된 상기 좌표값을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정함으로써 이미지를 정렬하며, 구체적으로 상기 이미지 보정단계(S400)는 위치값 계산단계(S410), XY축 이미지 보정단계(S420) 및 Z축 이미지 보정단계(S430)를 포함한다.In the image correction step (S400), images are aligned by correcting the second image (I2) based on the first image (I1) based on the output coordinate value, and specifically, the image correction step ( S400 includes a position value calculation step (S410), an XY-axis image correction step (S420), and a Z-axis image correction step (S430).
상기 위치값 계산단계(S410)에서는 상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기, 크기, 및 중심 픽셀의 위치값을 계산한다.In the position value calculation step (S410), a slope, a size, and a position value of a center pixel are calculated based on coordinate values of each of the first image and the second image.
먼저, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 기울기 차이는 광정렬 오차에 의하여 발생되며, 이러한 기울기 차이를 보정하기 위한 회전 교차상관계수 D인 상기 기울기 위치값은 도 7에 도시된 바와 같이, 각 이미지별 기울기를 직선에서 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 1, 수학식 2 및 수학식 3 순서대로 계산하여 도출된다.First, the difference in inclination between the first image I1 and the second image I2 is caused by an optical alignment error, and the inclination position value, which is a rotational cross-correlation coefficient D for correcting the inclination difference, is shown in FIG. 7. As shown, the slope of each image is detected from a straight line, and a difference value thereof is calculated, which is derived by calculating in the following
여기서, 수학식 1(1)의 y는 도 7에 도시된 제2 이미지(I2) 패턴의 좌표값인 (x1.1, y1.1), (x1.2, y1.2)을 이용하여, 패턴 직선의 기울기 값인 a1를 구하기 위한 수식이며, 수학식1(2)의 y는 제1 이미지(I1) 패턴 직선의 기울기 값인 a2를 구하기 위한 수식이다.Here, y in Equation 1(1) is the slope of the pattern straight line using (x 1.1 , y 1.1 ), (x 1.2 , y 1.2 ), which are coordinate values of the second image (I2) pattern shown in FIG. 7 This is an equation for obtaining the value a 1 , and y in Equation 1(2) is an equation for obtaining a 2, which is the slope value of the straight line of the first image I1.
θ1은 상기 제1 이미지(I1)의 패턴 직선의 기울기 값인 a1를 이용하여, 제1 이미지 패턴의 기울기를 구하기 위한 수식이며, θ2는 제2 이미지(I2)의 패턴 직선의 기울기 값인 a2를 이용하여, 제2 이미지 패턴의 기울기를 구하기 위한 수식이다.θ 1 is an equation for obtaining the slope of the first image pattern using a 1, which is the slope value of the pattern line of the first image I1 , and θ 2 is a slope value of the pattern line of the second image I2 2 is an equation for obtaining the slope of the second image pattern.
결과적으로, 회전 교차상관계수 D는 제1 이미지 패턴의 기울기인 θ1과 제2 이미지 패턴의 기울기인 θ2의 차이값으로 구할 수 있다.As a result, the rotational cross-correlation coefficient D can be obtained as a difference value between θ 1 , which is the slope of the first image pattern, and θ 2 , which is the slope of the second image pattern.
다음으로, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 크기(스케일) 차이는 파장 오차 및 광정렬 오차에 의하여 발생되며, 이러한 크기 차이를 보정하기 위한 스케일 보정계수 rx 및 ry인 상기 크기 위치값은 각 이미지별 패턴의 X축 및 Y축 길이를 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 4 및 수학식 5 순서대로 계산하여 도출된다.Next, the difference in size (scale) between the first image I1 and the second image I2 is caused by a wavelength error and a light alignment error, and scale correction factors r x and r for correcting the size difference. The size position value of y is derived by detecting the lengths of the X-axis and Y-axis of the pattern for each image and calculating a difference value thereof, which is derived by calculating in the order of Equations 4 and 5 below.
여기서, 수학식 4의 d1,x, d1,y는 제2 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향 크기를 도출하기 위한 수식이며, d2,x, d2,y는 제1 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향 크기를 도출하기 위한 수식이다. Here, d 1,x , d 1,y in Equation 4 are equations for deriving the size in the X and Y directions using the coordinate values of the second image pattern, and d 2,x , d 2,y are 1 This is an equation for deriving the size in the X and Y directions by using the coordinate values of the image pattern.
또한, 수학식 5에 기재된 바와 같이 스케일 보정계수인 rx 및 ry는 수학식 4로부터 도출된 d1,x와 d2,x의 비, d1,y와 d2,y의 비로 도출된다.In addition, as described in Equation 5, the scale correction factors r x and r y are derived from the ratio of d 1,x and d 2,x derived from Equation 4, and the ratio of d 1,y and d 2,y . .
다음으로, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 중심 픽셀(병진 위치) 차이는 광정렬 오차에 의하여 발생되며, 이러한 중심 픽셀 차이를 보정하기 위한 평면 교차상관계수(cross correlation) Sx 및 SY인 상기 중심 픽셀 위치값은 각 이미지별 패턴의 X축 및 Y축 중심값을 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 6 및 수학식 7 순서대로 계산하여 도출된다.Next, the difference between the center pixel (translational position) of the first image I1 and the second image I2 is caused by an optical alignment error, and a plane cross correlation coefficient for correcting the center pixel difference. ) The center pixel position value, which is S x and S Y , is derived by detecting the X-axis and Y-axis center values of the patterns for each image and calculating the difference value, which is calculated in the order of Equations 6 and 7 below. Is derived.
여기서, 수학식 6의 c1,x와 c1,y는 제2 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향의 중심 픽셀 위치를 도출하기 위한 수식이며, c2,x와 c2,y는 제1 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향의 중심 픽셀 위치를 도출하기 위한 수식이다. Here, c 1,x and c 1,y in Equation 6 are equations for deriving the location of the center pixel in the X and Y directions using the coordinate values of the second image pattern, and c 2,x and c 2, y is an equation for deriving the position of the center pixel in the X and Y directions by using the coordinate values of the first image pattern.
또한, 수학식 7에 기재된 바와 같이, 평면 교차상관계수인 Sx 및 SY는 수학식 6으로부터 도출된 c1,x와 c2,x의 차, c1,y와 c2,y의 차로 도출된다.In addition, as described in Equation 7, the plane cross-correlation coefficients S x and S Y are Equations The difference between c 1,x and c 2,x derived from 6, and the difference between c 1,y and c 2,y are derived.
상기 XY축 이미지 보정단계(S420)에서는 상기 위치값 계산단계(S410)에서 도출된 상기 위치값들을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정하며, 구체적으로 상기 XY축 이미지 보정단계(S420)는 회전위치 보정단계(S421), 스케일 보정단계(S422) 및 병진위치 보정단계(S423)를 포함한다.In the XY-axis image correction step (S420), based on the position values derived in the position value calculation step (S410), the second image (I2) is corrected based on the first image (I1), Specifically, the XY-axis image correction step (S420) includes a rotation position correction step (S421), a scale correction step (S422), and a translation position correction step (S423).
상기 회전위치 보정단계(S421)에서는 도 8의 (a)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 회전 교차상관계수 D를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 회전시켜 보정함으로써 상기 제1 이미지(I1, 기준 이미지)와 상기 제2 이미지(I2, 보정 이미지)가 동일한 회전 위치(각도)를 갖도록 정렬한다.In the rotational position correction step (S421), the first image (I1) is based on the rotational cross-correlation coefficient D derived in the position value calculation step (S410), as shown in the schematic diagram of FIG. 8A. ), the second image I2 is rotated and corrected so that the first image I1 and the second image I2 have the same rotational position (angle).
상기 스케일 보정단계(S422)에서는 도 8의 (b)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 스케일 보정계수 rx 및 ry를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 확대 또는 축소시킴으로써 상기 제1 이미지(I1)와 상기 제2 이미지(I2)의 크기가 같도록 보정한다.In the scale correction step (S422), the first image is based on the scale correction coefficients r x and r y derived in the position value calculation step (S410), as shown in the schematic diagram of FIG. 8(b). By expanding or reducing the second image I2 based on (I1), the first image I1 and the second image I2 are corrected to have the same size.
상기 위치값 계산단계(S410)에서는 도 8의 (c)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 평면 교차상관계수 Sx 및 SY를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 X축과 Y축 위치 차이만큼 이동시킴으로써 병진위치 차이를 보정하여 정렬한다. In the position value calculation step (S410), based on the plane cross-correlation coefficients S x and S Y derived in the position value calculation step (S410), as in the exemplary schematic diagram shown in FIG. 1 The second image I2 is moved based on the image I1 by the position difference between the X-axis and the Y-axis, thereby correcting and aligning the translational position difference.
상술한 회전위치 보정단계(S421), 스케일 보정단계(S422) 및 병진위치 보정단계(S423)를 모두 수행함으로써 도 8의 (d)에 도시된 바와 같이 상기 제2 이미지(I2)가 보정됨으로써(I2') 제1 이미지(I1)와 서로 어긋남 없이 중첩되도록 정렬된다.By performing all of the rotational position correction step S421, the scale correction step S422 and the translational position correction step S423 described above, the second image I2 is corrected as shown in (d) of FIG. 8 ( I2') Aligned to overlap with the first image I1 without misalignment.
상기 Z축 이미지 보정단계(S430)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 스택(stack)을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정하며, 구체적으로 상기 Z축 이미지 보정단계(S430)는 콘트라스트 검출단계(S431)와, 콘트라스트 기반 보정단계(S432)를 포함한다.In the Z-axis image correction step (S430), based on the stack of the first image I1 and the second image I2, the second image ( I2) is corrected, and specifically, the Z-axis image correction step (S430) includes a contrast detection step (S431) and a contrast-based correction step (S432).
상기 콘트라스트 검출단계(S431)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)로부터 가장 콘트라스트가 높은 영상위치를 각각 검출한다.In the contrast detection step S431, an image position having the highest contrast is detected from the first image I1 and the second image I2, respectively.
이후, 콘트라스트 기반 보정단계(S432)에서는 상기 제1 이미지(I1)의 콘트라스트를 기준으로 상기 제2 이미지(I2)의 z축 높이 위치를 보정한다.Thereafter, in the contrast-based correction step (S432), the z-axis height position of the second image I2 is corrected based on the contrast of the first image I1.
즉, 도 9의 (b)에 도시된 예시 개략도와 같이, 빛의 강도(Intensity) 값이 최고값을 가지는 스택(stack)을 추출하여 같은 스택을 갖도록 상기 제2 이미지(I2)의 z축 높이 위치를 보정한다.That is, as in the exemplary schematic diagram shown in (b) of FIG. 9, the z-axis height of the second image I2 to have the same stack by extracting a stack having the highest light intensity value Correct the position.
상술한 이미지 획득단계(S100), 기준영역 설정단계(S200), 좌표값 인식단계(S300), 이미지 보정단계(S400)를 수행한 이후, 상기 제1 이미지 및 상기 제2 이미지를 조합하여 샘플에 대한간섭이 없는 고해상도의 3차원 영상을 획득할 수 있다. After performing the above-described image acquisition step (S100), reference region setting step (S200), coordinate value recognition step (S300), and image correction step (S400), the first image and the second image are combined and applied to a sample. It is possible to obtain a high-resolution 3D image without any interference.
본 발명의 권리범위는 상술한 실시예 및 변형례에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.The scope of the present invention is not limited to the above-described embodiments and modifications, but may be implemented in various forms within the scope of the appended claims. Anyone of ordinary skill in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims is considered to be within the scope of the description of the claims of the present invention to various ranges that can be modified.
110: 제1 광원
120: 제2 광원
200: 빔 컴바이너
300: 튜브렌즈
400: 대물렌즈
500: 축방향 이송장치
600: 영상렌즈
700: 빔 스플리터
810: 제1 영상장치
820: 제2 영상장치110: first light source
120: second light source
200: beam combiner
300: tube lens
400: objective lens
500: axial feed device
600: video lens
700: beam splitter
810: first imaging device
820: second imaging device
Claims (5)
상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득하는 이미지 획득단계;
보정의 기준의 되는 상기 제1 이미지와, 보정의 대상이 되는 상기 제2 이미지 각각의 기준영역을 설정하는 기준영역 설정단계;
상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴 모서리 좌표값을 인식하는 좌표값 인식단계;
상기 좌표값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 이미지 보정단계;를 포함하는 다파장 광원 기반 3차원 영상의 보정방법.In the method of correcting the 3D image obtained from a 3D image acquisition device that generates a 3D image using a light source that separately outputs first wavelength light and second wavelength light having different wavelengths,
An image acquisition step of simultaneously acquiring a first image and a second image for the same sample by a plurality of imaging apparatuses using the light source;
A reference region setting step of setting a reference region of each of the first image as a reference for correction and the second image to be corrected;
A coordinate value recognition step of recognizing a coordinate value of a pattern edge of each of the reference regions for each of the first image and the second image;
And an image correction step of correcting the second image based on the first image based on the coordinate value.
상기 좌표값 인식단계는,
상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴이 가지고 있는 모서리 영역을 검출하는 모서리 검출단계; 및
상기 모서리에 해당하는 좌표값을 출력하는 좌표값 출력단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.The method of claim 1,
The coordinate value recognition step,
An edge detection step of detecting an edge area of each pattern of the reference area for each of the first image and the second image; And
And a coordinate value output step of outputting a coordinate value corresponding to the corner.
상기 이미지 보정단계는,
상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기, 크기 및 중심 픽셀의 위치값을 계산하는 위치값 계산단계;
상기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 XY축 이미지 보정단계;
상기 제1 이미지 및 상기 제2 이미지의 스택(stack)을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 Z축 이미지 보정단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.The method of claim 1,
The image correction step,
A position value calculation step of calculating a slope, a size, and a position value of a center pixel based on coordinate values of each of the first image and the second image;
An XY-axis image correction step of correcting the second image based on the first image based on the position value;
And a Z-axis image correction step of correcting the second image based on the first image based on a stack of the first image and the second image. 3D image correction method.
상기 XY축 이미지 보정단계는,
상기 위치값 계산단계에서 계산된 상기 기울기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 회전시켜 보정하는 회전위치 보정단계;
상기 위치값 계산단계에서 계산된 상기 크기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 확대 또는 축소시켜 크기가 같도록 보정하는 스케일 보정단계;
상기 위치값 계산단계에서 계산된 상기 중심 픽셀 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 x축과 y축 위치 차이만큼 이동시켜 정렬하는 병진위치 보정단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.The method of claim 3,
The XY axis image correction step,
A rotation position correction step of rotating and correcting the second image based on the first image based on the tilt position value calculated in the position value calculation step;
A scale correction step of expanding or reducing the second image based on the first image to correct the size to be the same based on the size position value calculated in the position value calculation step;
And a translational position correction step of moving and aligning the second image by a position difference between the x-axis and the y-axis based on the center pixel position value calculated in the position value calculation step. A method of correcting a three-dimensional image based on a multi-wavelength light source, characterized in that.
상기 Z축 이미지 보정단계는
상기 제1 이미지 및 상기 제2 이미지으로부터 가장 콘트라스트가 높은 영상위치를 각각 검출하는 콘트라스트 검출단계; 및
상기 제1 이미지의 콘트라스트를 기준으로 상기 제2 이미지의 z축 높이 위치를 보정하는 콘트라스트 기반 보정단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.The method of claim 3,
The Z-axis image correction step
A contrast detection step of detecting an image position having the highest contrast from the first image and the second image, respectively; And
And a contrast-based correction step of correcting a height position of the z-axis of the second image based on the contrast of the first image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190147571 | 2019-11-18 | ||
| KR20190147571 | 2019-11-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210061285A true KR20210061285A (en) | 2021-05-27 |
| KR102484708B1 KR102484708B1 (en) | 2023-01-05 |
Family
ID=76135819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200155002A KR102484708B1 (en) | 2019-11-18 | 2020-11-18 | Correction method of three-dimensional image based on multi-wavelength light |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102484708B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013105177A (en) * | 2011-11-11 | 2013-05-30 | Leica Microsystems Cms Gmbh | Microscopic device and method for three-dimensional localization of punctiform object in sample |
| KR101479734B1 (en) | 2013-07-26 | 2015-01-06 | 전자부품연구원 | 3 Dimensional shape measuring system based structured light pattern |
| JP2017020873A (en) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Measurement device for measuring shape of measurement object |
| JP2018537709A (en) * | 2015-11-11 | 2018-12-20 | スコピオ ラボズ リミテッド | Computer microscope and method for generating images under different illumination conditions |
-
2020
- 2020-11-18 KR KR1020200155002A patent/KR102484708B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013105177A (en) * | 2011-11-11 | 2013-05-30 | Leica Microsystems Cms Gmbh | Microscopic device and method for three-dimensional localization of punctiform object in sample |
| KR101479734B1 (en) | 2013-07-26 | 2015-01-06 | 전자부품연구원 | 3 Dimensional shape measuring system based structured light pattern |
| JP2017020873A (en) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Measurement device for measuring shape of measurement object |
| JP2018537709A (en) * | 2015-11-11 | 2018-12-20 | スコピオ ラボズ リミテッド | Computer microscope and method for generating images under different illumination conditions |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102484708B1 (en) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8019136B2 (en) | Optical sectioning microscopy | |
| JP4806630B2 (en) | A method for acquiring optical image data of three-dimensional objects using multi-axis integration | |
| US8908026B2 (en) | Imaging method and microscope device | |
| JP6364193B2 (en) | Focus position adjustment method and inspection method | |
| JP6503221B2 (en) | Three-dimensional information acquisition apparatus and three-dimensional information acquisition method | |
| KR102419163B1 (en) | Real-time autofocus focusing algorithm | |
| US11237374B2 (en) | Optical arrangement and method for imaging a sample | |
| US10731971B1 (en) | Method of measuring 3D profile | |
| CN111433559A (en) | Enhancing metering-targeted information content | |
| KR101523336B1 (en) | apparatus for examining pattern image of semiconductor wafer | |
| KR101652356B1 (en) | optical apparatus for examining pattern image of semiconductor device | |
| TWI500963B (en) | An image capturing device and method | |
| CN111156926A (en) | Four-dimensional hyperspectral detection system | |
| KR101826127B1 (en) | optical apparatus for inspecting pattern image of semiconductor wafer | |
| JP2007278849A (en) | Optical measuring device and optical measuring method | |
| KR102484708B1 (en) | Correction method of three-dimensional image based on multi-wavelength light | |
| KR101916827B1 (en) | A three-dimensional image acquisition device having high resolution | |
| KR101239409B1 (en) | 2d shape and 3d shape measuring apparatus and method based on phase shifting interferometry | |
| KR101833245B1 (en) | METHOD AND SYSTEM FOR CALIBRATION OF SURFACE MEASUREMENT DEVICE USING Phase measuring deflectometry | |
| EP3282300B1 (en) | Microscope | |
| WO2017053325A1 (en) | Increasing dynamic range of a height sensor for inspection and metrology | |
| CN102313524A (en) | Image acquiring device and method | |
| JP2007205767A (en) | Three-dimensional coordinate measuring device and method | |
| CN107702641B (en) | System and method for detecting transmission wave surface of aspheric lens | |
| KR102066129B1 (en) | Apparatus and method for 3d information using dot array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |