KR20120116073A - Method for preparing three dimensional profile map for composing images - Google Patents

Method for preparing three dimensional profile map for composing images Download PDF

Info

Publication number
KR20120116073A
KR20120116073A KR1020110033599A KR20110033599A KR20120116073A KR 20120116073 A KR20120116073 A KR 20120116073A KR 1020110033599 A KR1020110033599 A KR 1020110033599A KR 20110033599 A KR20110033599 A KR 20110033599A KR 20120116073 A KR20120116073 A KR 20120116073A
Authority
KR
South Korea
Prior art keywords
height
pixel
image
focus
map
Prior art date
Application number
KR1020110033599A
Other languages
Korean (ko)
Other versions
KR101226913B1 (en
Inventor
김연중
Original Assignee
주식회사 휴비츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴비츠 filed Critical 주식회사 휴비츠
Priority to KR1020110033599A priority Critical patent/KR101226913B1/en
Priority to JP2011285895A priority patent/JP5430643B2/en
Publication of KR20120116073A publication Critical patent/KR20120116073A/en
Application granted granted Critical
Publication of KR101226913B1 publication Critical patent/KR101226913B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A three-dimensional profile map making method for image synthesis is provided to perform accurate measurement of a sample by using a three-dimensional profile map. CONSTITUTION: A two-dimensional sample image is obtained(S10). A DWT(Discrete Wavelet Transform) of the sample image is performed(S20). An initial height map of each pixel is made(S22). A focus matching level is calculated in a proximity sub-band area of the converted image(S28). The degree of focus is filtered(S30). A height map is made by applying the calculated height(S34). [Reference numerals] (S10) Obtaining two-dimensional sample image of different focus by photographing a sample in the different height; (S12) Converting an image signal into a black and white image signal; (S20) Performing DWT of the sample image; (S22) Making an initial height map of each pixel by comparing detailed sub band coefficient value of each pixel; (S24) Correcting real height of the pixel by adding wavelet coefficient of the pixels within an identification window; (S26) Making a height map without having impulse noise by applying an intermediate filter; (S28) Calculating a focus of the sub band area of the DWT image; (S30) Removing height information of the pixel unsuitable focus by leaving height information of the pixel by applying a filter; (S32) Calculating a height of the removed pixel by inserting the height of pixels; (S34) Making a height map by matching the calculated height of the pixel without having height information

Description

영상 합성을 위한 3차원 프로파일 지도 작성 방법{Method for preparing three dimensional profile map for composing images}Method for preparing three dimensional profile map for composing images}

본 발명은 3차원 프로파일 지도 작성 방법에 관한 것으로서, 더욱 상세하게는, 광학 현미경 등의 카메라 장치를 이용하여, 입체적인 시료의 초점 거리에 따른 영상들을 얻고, 상기 영상들을 조합하여, 전 영역의 초점이 잘 맞은 하나의 2차원 합성 영상을 얻을 수 있도록, 시료의 높이 정보를 보여주는 3차원 프로파일 지도의 작성 방법에 관한 것이다.
The present invention relates to a 3D profile mapping method, and more particularly, by using a camera device such as an optical microscope to obtain images according to the focal length of a three-dimensional sample, combining the images, the focus of the entire area is The present invention relates to a method of creating a three-dimensional profile map showing height information of a sample so that one well-matched two-dimensional composite image can be obtained.

일반적으로, 시료의 3차원 프로파일(높이 정보)을 얻기 위해서는, 초점 거리가 다른 각각의 시료 영상을 얻고, 각각의 시료 영상에서 지역 별로 명암 대비를 구하고, 각각의 지역에 대하여, 명암 대비가 가장 크게 나타나는 영상의 정보(즉, 높이 정보)를 취합해 이미지 지도를 작성한다. 이와 같은 3차원 프로파일은, 초점 거리가 다른 다수의 시료 영상으로부터, 선명한 한 장의 합성 영상을 얻는데 이용된다. 이때, 영상의 노이즈와 블러링(blur)으로 인해, 명암 대비가 큰 부분이 반드시 영상 내부의 경계선을 의미하지는 않으므로, 이를 보완하려는 다양한 시도가 이루어지고 있다. 예를 들면, 최대 명암 대비를 이루는 영상들로 조합된 한 장의 영상에서, 각 지역마다 정합성을 판단하는 창(window)을 설정하고, 창 내부에서 가장 많은 명암 대비 빈도수를 보이는 입력 영상의 번호를 대표값으로 선택하는 최빈수 선택법, 최빈수 대신 주로 발생하는 흑-백 노이즈 제거를 위해 중간값을 선택하는 중간값 선택법 등이 단독 또는 다른 방법과 함께 사용되고 있다. 그러나, 상기 방법들의 가장 큰 문제는, 초점이 전혀 맞지 않는 영상에 대해서는 경계선 자체가 존재하지 않기 때문에 올바른 정보를 얻지 못한다는 점이다. 실제로, 기존의 3차원 프로파일러의 대부분은, 간단한 저역 필터 방식으로 초점이 맞지 않는 영역을 처리하기 때문에, 비초점 지역이 넓게 분포하면, 위 아래로 요동치는 비정상적인 높이 지도가 형성된다. 그럼에도 불구하고, 실질적으로, 입력 영상 전체에 대하여, 초점이 맞기는 어려우므로, 비초점 지역에 대한 적절한 처리 방식이 필요하다.
In general, in order to obtain a three-dimensional profile (height information) of a sample, each sample image having a different focal length is obtained, the contrast is obtained for each region in each sample image, and the contrast is the largest for each region. The image maps are created by gathering the information (ie height information) of the displayed image. Such a three-dimensional profile is used to obtain a clear composite image from a plurality of sample images having different focal lengths. At this time, due to the noise and blurring of the image, since a large contrast portion does not necessarily mean a boundary line inside the image, various attempts have been made to compensate for this. For example, in a single image combined with the images with the maximum contrast, set the window to determine the consistency for each region, and represent the number of the input image with the highest contrast frequency inside the window. The mode selection method for selecting a value as the value and the median selection method for selecting a median for removing black-white noise, which occur mainly instead of the mode, are used alone or in combination with other methods. However, the biggest problem of the above methods is that the boundary information does not exist for the image which is not in focus at all, so that the correct information is not obtained. In fact, most of the existing three-dimensional profilers handle out-of-focus areas with a simple low pass filter method, so that when the non-focused areas are widely distributed, an abnormal height map that swings up and down is formed. Nevertheless, practically, it is difficult to focus on the entire input image, so a proper processing method for the non-focused area is needed.

한편, 영상의 초점 맞음 정도를 판단하는 방법도 다양하게 개발되고 있다. 영상 내부의 각 점에 대하여 높이 정보를 얻어야 하므로, 초점 맞음 정도는 픽셀 단위 혹은 특정한 지역 단위로 얻어진다. 지역을 나누는 방법도, 유사한 특성을 보이는 지역끼리 묶는 방식, 일괄적으로 동일한 모양의 창으로 묶는 방식 등 다양하며, 동일한 모양의 창이라고 하더라도, 입력 영상의 해상도에 따라 창의 크기도 다르게 설정될 수 있다. 초점 맞음 정도를 구하는 방법은 소벨(Sobel) 필터나 LoG와 같은 마스크 기반 방식, 창을 이용한 푸리에 변환 방식, 웨이블렛 방식 등이 있으며, 각각의 대분류 내에서도 다양한 방법이 사용된다. 또한, 초점이 잘 맞은 영상의 번호(높이)로만 구성된 영상 지도를 취득하더라도, 반드시 올바른 3차원 정보를 주는 것은 아니다. 이는, 이산화된 높이 정보를 3차원 모델링 과정에서 보정하더라도, 기울기가 급격하게 증가하는 경우와 완만하게 증가하는 경우를 구분할 수 없기 때문이다.
Meanwhile, various methods for determining the degree of focus of an image have also been developed. Since height information has to be obtained for each point in the image, the degree of focus is obtained in pixel units or in specific area units. There are various ways of dividing areas, such as grouping areas with similar characteristics, and grouping them into windows of the same shape in a batch, and even windows having the same shape may have different sizes depending on the resolution of the input image. . The method of obtaining the degree of focus includes a Sobel filter or a mask-based method such as LoG, a Fourier transform method using a window, and a wavelet method. Various methods are used in each large category. In addition, even if an image map composed only of the number (height) of a well-focused image is obtained, it does not necessarily give correct three-dimensional information. This is because even when the discretized height information is corrected in the 3D modeling process, the case where the slope increases rapidly and the case where the increase gradually increases cannot be distinguished.

본 발명의 목적은, 시료 영상에 있어서, 초점이 맞는 지역의 정확한 위치 정보를 파악하여, 위치에 따른 높이 변화를 올바로 반영하는, 3차원 프로파일 지도 작성 방법을 제공하는 것이다.It is an object of the present invention to provide a three-dimensional profile map creation method that grasps accurate position information of a focused region in a sample image and accurately reflects a change in height according to a position.

본 발명의 다른 목적은, 초점이 맞는 영상 부분이 없는 비초점 지역이 관심 영역의 정보 파악을 방해하지 않으며, 주변 초점 구간과 높이의 연속성을 가지는, 3차원 프로파일 지도 작성 방법을 제공하는 것이다.It is another object of the present invention to provide a 3D profile mapping method in which a non-focused area having no focused image portion does not interfere with grasping information of a region of interest and has continuity of a peripheral focal section and height.

본 발명의 또 다른 목적은, 영상의 초점 맞음 정도를 정확히 반영할 수 있는, 3차원 프로파일 지도 작성 방법을 제공하는 것이다.
Still another object of the present invention is to provide a 3D profile mapping method capable of accurately reflecting the degree of focus of an image.

상기 목적을 달성하기 위하여, 본 발명은, 시료를 서로 다른 높이에서 촬영하여, 초점 부위가 다른 2차원 시료 영상들을 얻는 단계; 상기 시료 영상에 대하여, 이산 웨이블렛 변환을 수행하는 단계; 각각의 시료 영상에 이산 웨이블렛 변환을 적용하여 생성된 상세 부밴드에 있어서, 각 픽셀의 상세 부밴드 계수값을 비교하여, 최대 계수값을 나타내는 영상의 촬영 높이로, 각 픽셀에 대한 초기 높이 지도를 작성하는 단계; 각각의 입력 영상에 있어서, 이산 웨이블렛 변환된 영상의 근사 부밴드 영역에 대하여, 초점 맞음 정도를 계산하는 단계; 상기 초점 맞음 정도에 필터를 적용하여, 초점이 맞은 픽셀(경계점)의 높이 정보는 남기고, 초점이 맞지 않은 픽셀(비경계점)의 높이 정보는 제거하는 단계; 상기 필터를 통과하지 못하고 제거된 픽셀(비경계점)의 높이를, 필터를 통과한 픽셀(경계점)들의 높이값으로부터 내삽하여 산출하는 단계; 및 상기 높이 정보가 제거된 픽셀에 대하여 상기 내삽에 의하여 산출된 높이를 대입하여 높이 지도를 작성하는 단계를 포함하는 3차원 프로파일 지도 작성 방법을 제공한다.
In order to achieve the above object, the present invention comprises the steps of taking a sample at different heights, obtaining two-dimensional sample images of different focal points; Performing discrete wavelet transform on the sample image; In the detailed subband generated by applying the discrete wavelet transform to each sample image, the detailed subband coefficient values of each pixel are compared, and an initial height map of each pixel is obtained by the photographing height of the image representing the maximum coefficient value. Creating; For each input image, calculating a degree of focus for an approximate subband region of the discrete wavelet transformed image; Applying a filter to the degree of focus, leaving height information of the focused pixel (boundary point) and removing height information of the unfocused pixel (non-boundary point); Interpolating and calculating the height of the pixels (non-boundary points) that have not passed through the filter from the height values of the pixels (boundary points) that have passed through the filter; And creating a height map by substituting the height calculated by the interpolation with respect to the pixel from which the height information has been removed.

본 발명에 따른 3차원 프로파일 지도 작성 방법은, 서로 다른 높이 정보와 함께 입력된 다수의 입력 영상을 이용하여, 초점이 맞은 모든 영역으로부터, 시료의 해당 부분의 높이 정보를 얻으며, 초점이 맞지 않는 부분에 대하여 불연속적인 높이를 입력함에 따른, 부정확한 높이 프로파일 문제가 없는, 정합성 있는 높이 지도를 제공한다. 본 발명에 따라 제작된 3차원 프로파일 지도를 이용하여, 시료의 정확한 측정과 관찰이 가능하며, 높이에 따라 초점 부위가 다르게 보이는 시료의 영상들을, 정합성 있게 한 장의 합성 영상으로 합성할 수 있다.
3D profile mapping method according to the present invention, by using a plurality of input images input with different height information, to obtain the height information of the corresponding portion of the sample from all the areas of focus, the part that is not in focus Provide a consistent height map without the problem of inaccurate height profiles by entering discrete heights for. Using the three-dimensional profile map produced in accordance with the present invention, it is possible to accurately measure and observe the sample, and the images of the sample showing different focal points according to the height can be synthesized into a single composite image consistently.

도 1은 본 발명에 따른 3차원 프로파일 지도 작성 방법이 구현될 수 있는 광학 현미경의 구성 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 프로파일 지도 작성 방법을 설명하기 위한 플로우챠트.
도 3a는 시료의 2차원 영상 이미지에 이산 웨이브렛 변환(DWT)을 적용한 결과를 설명하기 위한 도면.
도 3b는 시료의 2차원 영상 이미지에 이산 웨이브렛 변환(DWT)을 적용한 결과의 일 예를 보여주는 도면.
도 4는 픽셀 단위로 작성된 영상의 초기 높이를 보여주는 지도(초기 높이 지도)의 일 예를 보여주는 도면.
도 5는 픽셀의 높이가 주변 픽셀의 높이와 정합되도록 1차 보정된 높이 지도의 일 예를 보여주는 도면.
도 6 및 7은, 높이 정보가 불연속적으로 입력되는 경우에 있어서, 실제 시료의 높이 분포(도 6)와 초점 맞음 정도로부터 계산된 높이 분포(도 7)의 일 예를 보여주는 도면.
도 8은 DWT된 영상의 근사 부밴드 영역에 대하여, 초점 맞음 정도를 계산하여, 경계점을 추출하는 과정을 설명하기 위한 도면.
도 9 및 10은, DWT된 영상의 근사 부밴드 영역에 대하여, 초점이 맞지 않은 픽셀의 높이값이 불충분하게 제거된 경우의 높이 지도(도 9)와, 초점이 맞지 않은 픽셀의 높이값이 충분하게 제거된 경우의 높이 지도(도 10)를 보여주는 도면.
도 11은 연속적으로 높이가 변하는 시료에 있어서, 초점 맞음 정도에 필터를 적용하여 잔류한 점(1,2,3,4)과 소거되는 점(1', 2', 3', 4') 및 높이 내삽법 적용 후 얻은 높이 분포값을 보여주는 도면.
도 12는 계단 형태로 높이가 불연속하게 변하는 시료에 있어서, 초점 맞음 정도에 필터를 적용하여 잔류한 점(1,2,3,4)와 소거되는 점(1', 2', 3', 4') 및 높이 내삽법 적용 후 얻은 높이 분포값을 보여주는 도면.
도 13은 초점이 맞지 않아 소거된 점의 높이를 내삽으로 산출하기 위하여, 내삽에 사용될 경계점을 추출하는 과정을 보여주는 도면.
도 14는 본 발명에 따라 완성된 3차원 프로파일(높이) 지도의 일 예를 보여주는 도면.1 is a block diagram illustrating an optical microscope in which a 3D profile mapping method according to the present invention can be implemented.
2 is a flowchart for explaining a 3D profile map creation method according to an embodiment of the present invention.
3A is a diagram for explaining a result of applying a discrete wavelet transform (DWT) to a two-dimensional image of a sample.
3B is a diagram illustrating an example of a result of applying a discrete wavelet transform (DWT) to a two-dimensional image image of a sample.
4 is a diagram illustrating an example of a map (initial height map) showing an initial height of an image created in pixels.
5 is an illustration of an example of a height map that is first corrected such that the height of the pixel matches the height of the surrounding pixels.
6 and 7 are diagrams showing an example of the height distribution (FIG. 7) calculated from the height distribution (FIG. 6) of the actual sample and the degree of focus when the height information is discontinuously input.
8 is a view for explaining a process of extracting boundary points by calculating a degree of focus for an approximate subband region of a DWT image.
9 and 10 show a height map (FIG. 9) when the height value of an unfocused pixel is insufficiently removed for the approximate subband region of a DWT image, and the height value of an unfocused pixel is sufficient. Showing the height map (FIG. 10) when removed.
FIG. 11 illustrates a point (1, 2, 3, 4) and a point (1 ', 2', 3 ', 4') remaining after the filter is applied to the degree of focus in a sample having a continuously varying height. Drawing showing the height distribution obtained after applying height interpolation.
FIG. 12 illustrates a point (1, 2, 3, 4) and a point (1 ', 2', 3 ', 4) remaining after applying a filter to a degree of focusing in a sample whose height varies discontinuously in a stepped shape. And height distribution obtained after height interpolation.
FIG. 13 is a diagram illustrating a process of extracting a boundary point to be used for interpolation in order to interpolate a height of an erased point out of focus. FIG.
14 is a view showing an example of a three-dimensional (height) map completed in accordance with the present invention.

이하, 첨부된 도면을 참조하여, 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings, the present invention will be described in detail.

도 1은 본 발명에 따른 3차원 프로파일 지도 작성 방법이 구현될 수 있는 광학 현미경의 구성 블록도이다. 도 1에 도시된 바와 같이, 본 발명이 적용될 수 있는 광학 현미경은, 시료에 조명광을 조사하는 조명, 시료의 영상을 확대하는 광학 경통 및 시료 영상을 결상하는 카메라를 포함하여, 시료의 확대된 영상을 얻는 현미경부(10), 상기 현미경부(10)의 높이, 즉, 초점 거리를 조절하는 현미경 운전제어부(12), 상기 현미경부(10)로부터 시료의 확대된 영상을 전달받아, 디지털 영상 신호로 전환하는 영상 입력부(22), 상기 현미경 운전제어부(12)로부터 시료의 영상이 얻어지는 높이(현미경의 높이)가 입력되는 높이 입력부(24), 및 상기 영상 입력부(22)로부터 디지털 영상 신호를 입력 받고, 상기 높이 입력부(24)로부터 시료 영상이 얻어진 높이 정보를 입력 받아, 입력된 영상들의 초점 맞음 정도를 평가하고, 시료의 3차원 프로파일 지도(높이 지도)를 생성하는 영상 처리부(26)를 포함한다. 또한, 상기 영상 처리부(26)는, 상기 3차원 프로파일 지도를 이용하여, 초점이 가장 잘 맞은 영상들로 이루어진 심도가 확장된(Extended Depth of Field) 영상을 생성할 수 있다.
1 is a block diagram illustrating an optical microscope in which a 3D profile mapping method according to the present invention can be implemented. As shown in FIG. 1, an optical microscope to which the present invention can be applied includes an enlarged image of a sample, including illumination for irradiating illumination light to a sample, an optical tube for enlarging an image of the sample, and a camera for forming an image of the sample. The microscope unit 10 to obtain a microscope, the height of the microscope unit 10, that is, the microscope operation control unit 12 for adjusting the focal length, and receives an enlarged image of the sample from the microscope unit 10, the digital image signal The image input unit 22 for switching to the image input unit, a height input unit 24 for inputting a height (microscope height) from which the image of the sample is obtained from the microscope driving control unit 12, and a digital image signal from the image input unit 22 An image that receives the height information obtained from the height image input unit 24, evaluates the degree of focus of the input images, and generates a 3D profile map (height map) of the sample; And a rib (26). In addition, the image processor 26 may generate an extended depth of field image having the best-focused images using the 3D profile map.

도 2는 본 발명의 일 실시예에 따른 3차원 프로파일 지도 작성 방법(알고리즘)을 설명하기 위한 플로우챠트이다. 도 1 및 2에 도시된 바와 같이, 본 발명에 따른 3차원 프로파일 지도 작성 방법은, 시료를 서로 다른 높이에서 촬영하여, 초점 부위가 다른 다수의 2차원 시료 영상들을 얻는 단계(S 10), 상기 시료 영상에 대하여, 이산 웨이블렛 변환(Discrete Wavelet Transform: DWT)을 수행하는 단계(S 20), 각각의 시료 영상에 DWT를 적용하여 생성된 상세 부밴드(detail sub-band)에 있어서, 각 픽셀의 상세 부밴드 계수값을 비교하여, 최대 계수값을 나타내는 영상의 촬영 높이로, 각 픽셀에 대한 초기 높이 지도를 작성하는 단계(S 22); 각각의 입력 영상에 있어서, DWT된 영상의 근사 부밴드 영역에 대하여, 초점 맞음 정도를 계산하는 단계(S 28); 상기 초점 맞음 정도에 필터를 적용하여, 초점이 맞은 픽셀의 높이 정보는 남기고, 초점이 맞지 않은 픽셀의 높이 정보는 제거하는 단계(S 30); 상기 필터를 통과하지 못하고 제거된 픽셀의 높이를, 필터를 통과한 픽셀들의 높이값으로부터 내삽하여 산출하는 단계(S 32); 및 상기 높이 정보가 제거된 픽셀에 대하여 상기 내삽에 의하여 산출된 높이를 대입하여 높이 지도를 작성하는 단계(S 34)를 포함한다. 여기서, 상기 S 22와 S 28 단계 사이에, 각 픽셀을 중심으로 하는 검증 윈도 내에서, 같은 높이로 계산된 픽셀들의 상세 부밴드 웨이블렛 계수를 더하고, 높이에 따른 웨이블렛 계수의 합을 비교해, 가장 큰 값을 주는 높이를 해당 픽셀의 실제 높이로 보정하는 단계(S 24) 및/또는 상기 (보정된) 높이 지도에 중간값 필터를 적용하여, 임펄스 노이즈가 제거된 높이 지도를 만드는 단계(S 26)를 더욱 포함하는 것이 바람직하다. 여기서, 상기 시료 영상을 얻는 단계(S 10)는 현미경부(10)에 의하여 수행되고, 얻어진 시료 영상은 영상 입력부(22)에서 디지털 영상 신호로 전환된 후, 영상 처리부(26)에서 DWT 등 나머지 과정이 수행될 수 있다. 필요에 따라, 상기 (칼라) 디지털 영상 신호는 영상 처리부(26)에서, 통상의 공지된 방법으로 흑백 디지털 영상 신호로 변환된 후(S 12), DWT 등 나머지 과정이 수행될 수 있다. 이와 같은 흑백 영상 전환은, 향후 영상 신호 데이터의 개수를 감소시켜, 영상 처리부(26)의 계산 부담을 감소시킬 수 있다.
2 is a flowchart for explaining a method (algorithm) for creating a 3D profile map according to an embodiment of the present invention. As shown in FIGS. 1 and 2, in the method of preparing a 3D profile map according to the present invention, taking a sample at different heights to obtain a plurality of 2D sample images having different focal points (S 10). In the step S20 of performing a discrete wavelet transform (DWT) on the sample image, a detail sub-band generated by applying DWT to each sample image, wherein each pixel Comparing the detailed subband count values and generating an initial height map for each pixel at the photographing height of the image representing the maximum count value (S 22); For each input image, calculating a degree of focus for an approximate subband region of the DWT image (S 28); Applying a filter to the degree of focus, leaving height information of the focused pixel, and removing height information of the unfocused pixel (S30); Interpolating and calculating the height of pixels removed without passing through the filter from height values of pixels passing through the filter (S 32); And generating a height map by substituting the height calculated by the interpolation with respect to the pixel from which the height information is removed (S 34). Here, between the steps S 22 and S 28, in the verification window centering on each pixel, the detailed subband wavelet coefficients of the pixels calculated at the same height are added, and the sum of the wavelet coefficients according to the height is compared, Correcting the height giving the value to the actual height of the pixel (S 24) and / or applying a median filter to the (corrected) height map to create a height map from which impulse noise has been removed (S 26). It is preferable to further include. Here, the step (S 10) of obtaining the sample image is performed by the microscope unit 10, and the obtained sample image is converted into a digital image signal by the image input unit 22, and then the image processing unit 26, such as DWT The process can be performed. If necessary, the (color) digital video signal may be converted into a black and white digital video signal by a conventionally known method (S 12), and the rest of the process may be performed, such as DWT. Such black and white image conversion may reduce the number of image signal data in the future, thereby reducing the computational burden on the image processor 26.

이하, 본 발명의 3차원 프로파일 지도 작성 방법을 더욱 구체적으로 설명한다. 본 발명에 따른 3차원 프로파일 지도 작성 방법은, (a) 시료 영상 전체에 대해 높이 정보를 얻는 단계, 및 (b) 시료의 경계선(경계점)에 해당하는 지역의 정보를 추출하고, 상기 (a) 단계에서 구한 경계선 지역의 높이 정보를 이용하여 경계선 이외 지역의 높이를 내삽법으로 산출하는 두 단계로 크게 구분될 수 있다. 상기 (a) 단계는 초점이 잘 맞은 지역에 대한 정확한 높이 정보를 얻는 것이 목적이다. 본 발명은, 상기 (a) 단계에서 보다 정확한 높이 정보를 얻고, (b) 단계에서 높이 정보의 정합성을 판단하고, 정합성이 낮은 픽셀의 높이 정보를 정합성 있게 보정하여, 초점이 맞지 않는 지역을 처리한다. 상기 (a) 단계에서, 영상의 높이 정보를 얻기 위하여, 먼저, 시료를 서로 다른 높이(거리)에서 촬영하여, 초점 부위가 다른 다수의(예를 들면, 2 내지 8개, 바람직하게는 2 내지 5개) 2차원 영상들을 얻고(S 10), 상기 2차원 영상들로부터, 초점이 잘 맞은 부분의 위치 정보와 높이 정보를 취합하여 하나의 높이 지도(예를 들면, xy 평면 상에 해당 위치의 높이 값(입력 영상 번호)이 표시된 형태의 데이터인 2차원 지도. 구별의 편의상 색상을 넣기도 한다)를 작성한다. 이를 위해서, 얻어진 2차원 영상들의 각 픽셀에 대하여, (i) 초점 맞음 정도의 평가, (ii) 초점 맞음 정도(초점 정보)로부터 각 픽셀의 높이 정보 산출, 및 (iii) 취합한 높이 정보를 이용하여 높이 지도 작성의 3단계를 수행한다.
Hereinafter, the three-dimensional profile map preparation method of the present invention will be described in more detail. According to the present invention, the method for preparing a 3D profile map includes (a) obtaining height information of the entire sample image, and (b) extracting information on an area corresponding to a boundary line (boundary point) of the sample, and (a) The height information of the boundary area obtained in the step may be largely divided into two steps of calculating the height of an area other than the boundary by interpolation. The purpose of step (a) is to obtain accurate height information for a well-focused area. The present invention obtains more accurate height information in step (a), judges the consistency of the height information in step (b), corrects the height information of the low-matching pixel consistently, and processes an unfocused area. do. In the step (a), in order to obtain the height information of the image, first, samples are taken at different heights (distances), and a plurality of different focal regions (for example, 2 to 8, preferably 2 to 8). 5) two-dimensional images are obtained (S 10), and from the two-dimensional images, location information and height information of a well-focused part are collected and one height map (e.g. A two-dimensional map, which is data in a form in which height values (input image numbers) are displayed. To this end, for each pixel of the obtained two-dimensional images, (i) evaluation of the degree of focus, (ii) the height information of each pixel from the degree of focus (focus information), and (iii) the collected height information are used. To perform the three steps of height mapping.

먼저, (i) 시료 영상의 각 부분에 대한 초점 맞음 정도의 평가 방법은 다음과 같다. 일반적으로, 초점이 잘 맞은 영상은 경계가 뚜렷하고, 초점이 가장 잘 맞은 위치에서, 빛의 세기와 명암 대비가 최대가 되므로, 픽셀 사이의 명암 대비를 이용하는 경계 검출 방법으로 초점 맞음 정도를 평가할 수 있다. 본 발명에 있어서, 경계 검출 방법으로서 통상의 신호 또는 영상 분석 방법인 이산 웨이블렛 변환법(Discrete Wavelet Transformation; DWT)을 이용한다. 이산 웨이블렛 변환법은, 국소화된 웨이블렛(wavelet)을 이용하여 신호를 분석하는 방법으로, 다층 구조 분석에 의해, 다양한 해상도의 신호 분석이 가능하며, 국소적인 신호의 분석에 유용하다. 특히, 이산 웨이블렛 변환을 반복하여(다중 이산 웨이블렛 변환), 상위 수준으로 올라갈수록, 평균값 평활화 효과가 더해지므로, 동형 노이즈 등과 같은 비임펄스형 노이즈가 제거되는 장점이 있으나, 임펄스형 노이즈는 여전히 잔류하므로, 높이 지도가 정합성을 가지도록 후가공하여 임펄스형 노이즈를 제거한다.
First, (i) a method of evaluating the degree of focus of each part of the sample image is as follows. In general, a well-focused image has a clear boundary and at the best-focused position, the light intensity and contrast are maximized, so the degree of focus can be evaluated by a boundary detection method using contrast between pixels. . In the present invention, Discrete Wavelet Transformation (DWT), which is a conventional signal or image analysis method, is used as the boundary detection method. Discrete wavelet transform is a method of analyzing signals using localized wavelets. The multi-layer analysis enables signal analysis of various resolutions and is useful for local signal analysis. In particular, by repeating the discrete wavelet transform (multi-discrete wavelet transform), the higher the level, the more smoothed the average value, so that the non-impulsive noise such as homogeneous noise is removed, but the impulse noise still remains. In addition, the impulse noise is removed by post-processing to make the height map consistent.

시료의 2차원 영상에 DWT를 적용하면(S 20), 도 3a의 A에 도시된 바와 같이, LL, HL, LH, HH로 이루어진 4개의 부밴드(sub-band)로 영상이 나뉘어 진다. 여기서, LL은 해상도가 1/4로 줄어든 원본 영상의 축소 영상으로서, 근사 부밴드(Approximation Sub-band)라 하며, HL은 수직 방향의 영상 정보 변화 정도(예를 들어, 원본 영상에 DWT를 1회 적용한 경우, HL은 수직 방향으로의 영상의 밝기 변화 정도를 나타내며, DWT를 2회 이상 적용한 경우, HL은 축소된 영상의 정보 변화를 나타낸다), LH는 수평 방향의 영상 정보 변화 정도, HH는 대각선 방향의 영상 정보 변화 정도를 나타낸다. 예를 들어, LH가 크다는 것은 수평 방향으로 영상 정보의 변화가 큼을 의미하므로, 수직 방향의 경계가 존재함을 의미한다. 상기 LH, HL, HH를 상세 부밴드(Detail Sub-band)라 한다(미국특허 6,151,415호 등 참조). 이와 같은 DWT는, 원본 영상의 해상도에 따라, 하나의 원본 영상에 대해 2차례(도 3a의 B 및 도 3b), 3차례(도 3a의 C) 등, 여러 차례 적용될 수 있다. 이미 DWT된 영상에 다시 DWT를 적용하는 경우, 현재 얻어진 LL 부밴드에 대하여 DWT를 적용하여, 도 3a의 B 또는 C와 같은 다층(Multi Level) 구조 DWT를 얻는다. 이와 같이, 이산 웨이블렛 변환으로 얻은 상세 부밴드의 웨이블렛 계수(도 3b 참조)는, 영상의 명암 대비 특성을 반영하므로, 상세 부밴드의 웨이블렛 계수 중, 절대값이 최대인 값을 취합하면 경계 검출이 가능해 진다. 또한, 근사 부밴드 값은 노이즈가 제거된 저해상도 영상이므로, 이를 이용해서도 경계 검출 등의 영상 처리가 가능하다. 즉, 본 발명은 종래 영상의 경계 검출이나 신호 분석에 사용되었던 푸리에(Fourier) 분석 대신, 다양한 해상도로 국소적인 데이터 접근이 가능한 DWT를 응용하여, 초점 맞음 정도를 평가(계산)한다. 이러한 DWT를 이용한 초점 맞음 정도의 평가 방법의 일 예는, 본 출원인의 특허출원 10-2010-0054816호에도 개시되어 있으며, 상기 특허출원의 내용은 참조로서 본 명세서에 포함된다. 예를 들면, 입력 해상도가 1600 x 1200인 영상으로부터, 해상도가 약 100 x 100인 영상을 얻기 위해, 약 3회의 DWT 변환을 하고, DWT 변환으로 얻어진 상세 부밴드(LH, HL, HH)의 픽셀 계수들의 최대값(즉, LH, HL, HH 부밴드 계수값 중 최대값)을, 해당 영상에서 각 픽셀의 초점 맞음 정도로 판단한다. 같은 방식으로, 입력된 각각의 영상에 대하여, 픽셀 계수들의 최대값을 얻는다. 본 발명에 있어서, DWT 변환은 1회 이상, 다중 변환되며, 변환 회수는 원본 영상의 해상도, 합성되는 픽셀의 크기 등에 따라 1 내지 10, 바람직하게는 2 내지 5회 수행될 수 있다.
If DWT is applied to the two-dimensional image of the sample (S20), as shown in A of FIG. 3A, the image is divided into four sub-bands consisting of LL, HL, LH, and HH. Here, LL is a reduced image of the original image whose resolution is reduced to 1/4, and is called an approximation sub-band, and HL is the degree of change of image information in the vertical direction (for example, DWT is 1 in the original image). HL indicates the degree of change in brightness of the image in the vertical direction, and HL indicates the degree of change in the information in the reduced image when DWT is applied two or more times), LH is the degree of change in the image information in the horizontal direction, and HH It indicates the degree of change of image information in the diagonal direction. For example, a large LH means a large change in image information in the horizontal direction, and thus, a vertical boundary exists. The LH, HL, and HH are referred to as detail sub-bands (see US Pat. No. 6,151,415, etc.). Such DWT may be applied to a single original image two times (B and 3B of FIG. 3A), three times (C of FIG. 3A), etc., depending on the resolution of the original image. When DWT is applied to the already DWT image, DWT is applied to the currently obtained LL subband to obtain a multi-level structure DWT as shown in B or C of FIG. 3A. As described above, since the wavelet coefficients of the detailed subbands obtained by the discrete wavelet transform (see FIG. 3B) reflect the contrast characteristics of the image, when the absolute value of the wavelet coefficients of the detailed subbands is collected, the edge detection is performed. It becomes possible. In addition, since the approximate subband value is a low resolution image from which noise is removed, image processing such as boundary detection can be performed using this as well. That is, the present invention evaluates (calculates) the degree of focus by applying DWT, which allows local data access at various resolutions, instead of Fourier analysis, which has been used for boundary detection and signal analysis of a conventional image. An example of an evaluation method of the degree of focus using such DWT is also disclosed in the applicant's patent application 10-2010-0054816, the contents of which are incorporated herein by reference. For example, in order to obtain an image having a resolution of about 100 x 100 from an image having an input resolution of 1600 x 1200, pixels of detailed subbands (LH, HL, HH) obtained by DWT conversion about three times are obtained. The maximum value of the coefficients (ie, the maximum value of the LH, HL, and HH subband coefficient values) is determined as the degree of focus of each pixel in the corresponding image. In the same way, for each input image, the maximum value of pixel coefficients is obtained. In the present invention, DWT conversion is performed one or more times, multiple conversion, the number of conversion may be performed 1 to 10, preferably 2 to 5 times depending on the resolution of the original image, the size of the synthesized pixels.

다음으로, 각 픽셀에 대하여, 상기 픽셀 계수들의 최대값이 가장 크게 되는 영상의 높이(촬영 거리)를, 해당 픽셀에 대하여 초점이 가장 잘 맞은 위치(높이)로 판단하고, 해당 픽셀에 이 높이를 지정한다. 이 과정은, 상기 (ii) 초점 맞음 정도(초점 정보)로부터 각 픽셀의 높이 정보 산출 단계로서, 영상의 각 픽셀에 대한 초점 맞음 정도(초점 정보)로부터, 각 픽셀의 높이 정보를 얻는 것이다. 다음으로, (iii) 취합한 높이 정보를 이용하여 높이 지도 작성 단계에서, 픽셀 단위로 영상의 높이 지도를 작성하며, 이와 같이 만들어진 초기 높이 지도의 일 예를 도 4에 나타내었다.
Next, for each pixel, the height (shooting distance) of the image at which the maximum value of the pixel coefficients is the largest is determined as the position (height) that is the most in focus with respect to the pixel, and the height is assigned to the pixel. Specify. This process is to calculate the height information of each pixel from the degree of focus (focus information), and obtain the height information of each pixel from the degree of focus (focus information) for each pixel of the image. Next, (iii) in the height map preparation step using the collected height information, a height map of an image is created in pixel units, and an example of the initial height map thus produced is shown in FIG. 4.

이와 같이 얻어진 초기 높이 지도에 있어서는, 전술한 바와 같이, 임펄스형 노이즈가 제거되지 않은 상태이고, 픽셀 단위의 명암 대비 값은 외부 환경 요소에 민감하므로, 얻어진 높이의 정합성을 확인하는 것이 바람직하다. 픽셀 단위의 민감도를 완화하면서, 웨이블렛 계수의 경계값 정보를 보전하는 방법은, 픽셀 주변에 윈도(window)를 설정하고, 이 윈도 내에서 웨이블렛 계수들을 비교하는 것이 효과적이다(A wavelet-based image fusion tutorial, G. Pajares and J.M. de la Cruz, Pattern Recognition 37 (2004) 1855~1872 참조). 이러한 윈도 기반 합성 방법은, 높이 지도를 만들 때 초점 맞음 정도를 판단하기 위해 사용되거나, 정합성을 확인할 때 단순한 필터를 적용하기 위해 사용된다. 그러나, 이러한 윈도 기반 방식을 사용하면, 모든 입력 영상의 모든 픽셀에 대해 윈도 연산이 필요하므로 속도가 느려지게 된다. 따라서, 본 발명에서는, 웨이블렛 계수의 의미(초점 맞음 정도)를 보전하면서, 계산이 간단해지도록, 윈도(예를 들면, 해당 픽셀을 중심으로 하는 3 x 3 픽셀 크기의 검증 윈도) 내의 웨이블렛 계수를 입력 높이에 따라 그룹화(grouping)한다. 일반적으로, 한 두 픽셀만 특이한 높이를 가지는 시료는 많지 않으므로, 윈도 내에 경계가 존재한다면, 대부분 경계점이 아닌 경계선의 형태로 존재하고, 동일한 높이를 갖는 경계선의 웨이블렛 계수들의 합은 다른 높이를 갖는 웨이블렛 계수들의 합보다 큰 값을 가진다. 윈도 내의 어느 픽셀이 주변과 높이가 크게 다른 임펄스 노이즈 형태를 띠어서 커다란 웨이블렛 계수를 가지더라도, 윈도 내에 경계가 존재한다면, 일반적으로 경계점들의 개수가 임펄스형 노이즈 보다 많고, 경계점들의 웨이블렛 계수는 큰 값을 가지므로, 동일 높이에 있는 경계점들의 웨이블렛 계수의 합은 같은 높이에 있는 임펄스 노이즈들의 웨이블렛 계수보다 일반적으로 크다. 따라서, 본 발명에 있어서는, 윈도 내에서 같은 높이로 계산된 픽셀들을 그룹화하고, 그룹화된 픽셀들의 웨이블렛 계수를 더하고, 높이에 따른 웨이블렛 계수의 합을 비교해, 가장 큰 값을 주는 높이를 해당 픽셀의 실제 높이로 보정한다(S 24). 이하, 이러한 방식을 그룹화된 계수합 검증(Grouped Coefficients Summation Verification: GCSV) 방식이라 명명한다. 검증 윈도 내에서, 동일 높이의 웨이블렛 계수들의 그룹화는, 상기 ii 단계에서 얻어진 해당 픽셀의 입력 영상의 번호(높이)를 기준으로 그룹화된다. 즉, 동일 높이의 웨이블렛 계수들은 동일한 그룹으로 묶인다. 예를 들면, 서로 다른 3개의 높이(1, 2 및 3)에서 시료를 촬영하여, 초점 부위가 다른 3개의 2차원 영상들을 얻은 경우, 높이 1에 해당하는 웨이블렛 계수들을 동일한 그룹으로 묶고, 높이 2에 해당하는 웨이블렛 계수들을 동일한 그룹으로 묶으며, 높이 3에 해당하는 웨이블렛 계수들을 동일한 그룹으로 묶는다. 또한, 상술한 방법 만으로는 임펄스 노이즈가 완전히 제거되지 않으므로, 중간값 필터링(median filtering)을 1회 이상 적용하여, 임펄스 노이즈가 제거된 1차 보정 높이 지도를 만드는 것이 바람직하다(S 26). 상기 중간값 필터링을 위해서는, 필터를 적용하려는 픽셀을 중심으로 적당한 영역의 윈도(예를 들면, 5x5 픽셀)를 설정하고, 상기 윈도 내에 존재하는 모든 높이 정보를 오름차순 혹은 내림 차순으로 정렬하고, 그 중간값으로 처음 선택한 픽셀의 높이 정보를 보정(대체)한다. 이와 같이, 경계 영역에 대한 정확한 높이가 반영되어, 픽셀의 높이가 주변 픽셀의 높이와 정합되도록 1차 보정된 영상 지도의 일 예를 도 5에 나타내었다.
In the initial height map thus obtained, as described above, since the impulse noise is not removed and the contrast value in pixels is sensitive to external environmental factors, it is preferable to confirm the match of the obtained height. As a method of preserving boundary value information of wavelet coefficients while relaxing pixel-by-pixel sensitivity, it is effective to set a window around pixels and to compare wavelet coefficients within the window (A wavelet-based image fusion). tutorial, G. Pajares and JM de la Cruz, Pattern Recognition 37 (2004) 1855--1872). This window-based compositing method is used to determine the degree of focus when creating a height map, or to apply a simple filter when checking consistency. However, using this window-based approach, the window operation is required for every pixel of every input image, so that the speed becomes slow. Therefore, in the present invention, the wavelet coefficients in the window (e.g., a 3 x 3 pixel verification window centered on the corresponding pixel) are stored so as to simplify the calculation while preserving the meaning of the wavelet coefficients (degree of focus). Group by input height. In general, there are not many samples with only one or two pixels having a unique height, so if a boundary exists within a window, most of them exist in the form of a boundary line instead of a boundary point, and the sum of wavelet coefficients of the boundary line having the same height is a wavelet having another height. Has a value greater than the sum of the coefficients. Although a pixel in a window has a large wavelet coefficient due to the shape of an impulse noise that is significantly different in height from the periphery, if a boundary exists in the window, the number of boundary points is generally larger than the impulse noise, and the wavelet coefficient of the boundary points is a large value. The sum of wavelet coefficients of boundary points at the same height is generally larger than the wavelet coefficients of impulse noises at the same height. Therefore, in the present invention, the pixels calculated at the same height in the window are grouped, the wavelet coefficients of the grouped pixels are added, the sum of the wavelet coefficients according to the height is compared, and the height giving the largest value is the actual value of the pixel. Correct to height (S 24). This method is hereinafter referred to as a Grouped Coefficients Summation Verification (GCSV) method. Within the verification window, the grouping of wavelet coefficients of the same height is grouped based on the number (height) of the input image of the corresponding pixel obtained in step ii. That is, wavelet coefficients of the same height are grouped into the same group. For example, when samples are taken at three different heights (1, 2, and 3), and three two-dimensional images having different focal points are obtained, wavelet coefficients corresponding to height 1 are grouped into the same group, and height 2 Wavelet coefficients corresponding to the group of the wavelet coefficients corresponding to the height 3 to the same group. In addition, since the impulse noise is not completely removed only by the above-described method, it is preferable to apply the median filtering one or more times to make the first correction height map from which the impulse noise is removed (S 26). For the median filtering, a window (for example, 5x5 pixels) of an appropriate area is set around the pixel to which the filter is to be applied, all height information existing in the window is sorted in ascending or descending order, and the middle The value corrects (replaces) the height information of the first selected pixel. As such, an example of an image map that is primarily corrected such that the exact height of the boundary area is reflected and the height of the pixel is matched with the height of the surrounding pixel is illustrated in FIG. 5.

이와 같이 만들어진 1차 보정 높이 지도는, 도 5에 도시된 바와 같이, 초점이 맞지 않는 지역에서 높이의 출렁임이 심하게 나타나며, 높이 정보가 불연속적으로 입력되므로, 높이의 변화를 올바로 나타내지 못하는 문제가 있다. 높이 정보가 불연속적(이산화 되어)으로 입력되고, 실제 시료가 도 6에 나타낸 바와 같은 연속적인 높이 분포를 가지면, 도 7(가로축은 x축, 세로 축은 높이축)에 나타낸 바와 같이, 가로축에 평행한 점선보다 높은 곳은 H값, 그보다 낮은 곳은 L 값을 갖는 높이 분포를 나타낸다. 도 6 및 7에서, 그래프는 실제 샘플의 프로파일을 나타낸 것이고, 박스 내부의 숫자는 디지털 형태로 입력된 샘플의 높이 정보로서, 예를 들면, 0은 L, 1은 H에 해당하며, 중간 값은 H로 둘 수도 있고, L로 둘 수도 있기 때문에 0.5라는 값을 사용하였다. 여기서, 중간값을 한 번 결정되면 번복할 수는 없다. 따라서, 이 방식으로는 시료가 계단 형태인지 연속된 형태의 기울기를 갖는지 구분할 수 없다. 그러나, 기울기가 불연속한 픽셀의 위치를 비교하면, 연속한 높이 변화와 불연속한 높이 변화를 구분할 수 있다. 도 7에서 불연속한 기울기의 위치는 계단이 시작되는 한 점이거나, 계단의 기울기가 다소 완만한 경우, 계단 오름이 시작되는 점과 계단 오름이 끝나는 점의 두 점이다. 연속적으로 높이가 변하는 시료의 경우에도, 높이가 올라가기 시작하는 점과 더 이상 올라가지 않는 점의 두 점이다. 두 경우를 비교하면, 불연속적인 기울기가 나타나는 점들이 가까우면 경사가 급하고, 그렇지 않으면 경사가 완만한 것이다. 따라서, 기울기의 불연속점이 경사를 판단할 수 있는 중요한 근거가 된다.
As shown in FIG. 5, the primary-corrected height map thus produced has a problem that the fluctuation of the height is severely displayed in the out-of-focused area, and the height information is discontinuously input, so that the change in the height cannot be represented correctly. . If the height information is input discontinuously (discrete) and the actual sample has a continuous height distribution as shown in Fig. 6, parallel to the horizontal axis, as shown in Fig. 7 (the x axis on the horizontal axis and the height axis on the vertical axis). The height above one dashed line represents the height distribution with the H value and the lower one the L value. In Figures 6 and 7, the graph shows the profile of the actual sample, the number inside the box is the height information of the sample input in digital form, for example, 0 corresponds to L, 1 corresponds to H, the middle value is A value of 0.5 was used because it can be either H or L. Here, once the median value is determined, it cannot be reversed. Thus, in this way it is not possible to distinguish whether the sample has a stepped or continuous slope. However, by comparing the positions of pixels whose slope is discontinuous, it is possible to distinguish between a continuous height change and a discontinuous height change. In FIG. 7, the position of the discontinuous slope is one point at which the stairs are started, or two points, at which the stairs are started up and the stairs are finished, when the stairs are slightly gentle. In the case of a sample of continuously changing height, there are two points: the height starts to rise and no longer rises. Comparing the two cases, the slopes are steep if the points with discontinuous slopes are close, otherwise the slope is gentle. Therefore, the discontinuous point of the slope becomes an important basis for determining the slope.

높이 분포 판단에 중요 근거가 되는 높이 기울기의 불연속 점은 초점 맞음 정도를 통해 파악할 수 있다. 이를 위하여, 각각의 입력 영상에 있어서, DWT된, 바람직하게는 최고 수준(Highest level)으로 DWT되고, 필요에 따라, 비임펄스형 노이즈가 제거된 영상의 근사 부밴드 영역에 대하여, 초점 맞음 정도를 계산한다(S 28). 도 8은, L, H 두 가지 높이로 만 높이를 측정할 때, 초점이 높이 L에 맺히는 세 개의 빛과 높이가 연속적으로 변하는 시료를 보여주는 도면이다. L의 위치에 도달한 빛 1, 2는 초점이 정확히 맞았으므로 초점 맞음 정도가 높게 평가되는 반면, 초점이 맞지 않은 3의 빛은 초점 맞음 정도가 낮게 평가된다. 상기 근사 부밴드 영역에 있어서, 특정 픽셀의 초점 맞음 정도는, 하기 수학식 1에 나타낸 바와 같이, 해당 픽셀(좌표: (x, y))의 밝기 (I(x, y))와 주변 4점(좌표: ((x, y+1), (x, y-1), (x+1, y), (x-1, y))의 밝기 값의 차이의 절대값의 합으로 계산될 수 있다. Discontinuities in the height slope, which are the important basis for determining the height distribution, can be identified by the degree of focus. To this end, for each input image, the degree of focus is applied to the approximate subband region of the image that is DWT, preferably at the highest level, and, if necessary, the non-impulse noise is removed. Calculate (S 28). 8 is a view showing a sample in which the three light and the height of the focal point at the height L when the height is measured only at two heights, L, H continuously changes. The lights 1 and 2 that reach the position L have a high degree of focus because they are correctly focused, whereas the light of 3 that is not in focus is rated low. In the approximate subband region, the degree of focus of a particular pixel is determined by the brightness (I (x, y)) and four surrounding points of the pixel (coordinate: (x, y)) as shown in Equation 1 below. (Coordinates: ((x, y + 1), (x, y-1), (x + 1, y), (x-1, y)) can be calculated as the sum of the absolute values of the differences in the brightness values have.

[수학식 1][Equation 1]

Figure pat00001

Figure pat00001

이때, 상기 초점 맞음 정도에 필터를 적용하여, 예를 들면, 문턱값을 두어, 고역 통과 필터를 적용하면(S 30), 초점이 맞은 점(1, 2의 점)은 남고, 초점이 맞지 않은 점(3의 점)은 사라진다. 예를 들면, 인접한 두 픽셀의 밝기(intensity) 차이가 40 이상이면, 픽셀 사이의 경계가 뚜렷이 나타나는데, 이런 밝기 차이를 보이는 픽셀이 상하 좌우 네 방향에 최소한 두 개가 존재할 때, 즉, 필터를 적용하려는 픽셀이 고립되지 않은 선으로서 의미를 가질 때를 문턱 조건으로 한다. 실험 결과, 이 경우, 문턱값이 80 ~120 일 경우 윤곽선의 형태만 온전히 남는다. 따라서, 이 경우의 문턱값은 80, 바람직하게는 100으로 설정할 수 있다. 따라서, 본 발명에 있어서는, 상기 초점 맞음 정도가, 인접한 두 픽셀의 경계가 나타나는(즉, 명확해지는) 밝기 차이의 3배 미만, 바람직하게는 2.5배 미만, 더욱 바람직하게는 2배 미만이면, 초점이 맞지 않은 픽셀로 보고 높이 정보를 제거한다. 여기서, "인접한 두 픽셀의 경계가 나타나는 밝기 차이"는 영상의 윤곽선이 나타나는 밝기 차이를 실험적으로 결정할 수 있다. 이와 같이, 초점 맞은 정도에 필터를 적용하면, 남은 점들은 경계가 선명한 경계점들로 여기에는 기울기가 불연속한 점(도 8의 2번 위치)들이 포함된다. 이때, 상기 문턱값을 너무 낮게 설정하면(예를 들면 50), 초점이 맞지 않은 부분이 남고(도 9 참조), 상기 문턱값을 적절히 설정하면(예를 들면 100), 경계점은 남고, 초점이 맞지 않은 영역의 점들을 소거할 수 있다(도 10 참조). 여기서, 문턱값을 통과한 경계점들이 모두 기울기가 불연속한 점은 아니지만, 도 11 및 12에 나타낸 바와 같이, 동일 높이에 있고, 인접한 경계점 집합의 가장 자리에 있는 점들은 기울기가 불연속한 점들이다. 구체적으로, 도 11 및 12에서, 1, 2, 3, 4는 경계점이고, 1', 2', 3', 4'은 고역 통과 필터에 의해 소거된 점이다.
At this time, if a filter is applied to the degree of focus, for example, a threshold value is applied, and a high pass filter is applied (S30), the point in focus (points 1 and 2) remains and the focus is not in focus. The point (dot of 3) disappears. For example, if the difference in intensity between two adjacent pixels is greater than 40, the boundary between the pixels is clear, and when there are at least two pixels with these brightness differences in up, down, left, and right directions, that is, the filter The threshold condition is when a pixel has meaning as an unisolated line. As a result of the experiment, in this case, when the threshold is 80 to 120, only the shape of the contour remains intact. Therefore, the threshold value in this case can be set to 80, preferably 100. Thus, in the present invention, if the degree of focusing is less than 3 times, preferably less than 2.5 times, more preferably less than 2 times the difference in brightness at which the boundary between two adjacent pixels appears (i.e. becomes clear), Look at these mismatched pixels and remove the height information. Here, "the brightness difference in which the boundary between two adjacent pixels appears" may experimentally determine the brightness difference in which the outline of the image appears. As such, when the filter is applied to the degree of focusing, the remaining points are boundary points with sharp boundaries, and include points with discontinuous slopes (position 2 in FIG. 8). At this time, if the threshold value is set too low (e.g. 50), an unfocused part remains (see FIG. 9), and if the threshold value is appropriately set (e.g. 100), the boundary point remains, and the focus is Points in the mismatched region can be erased (see FIG. 10). Here, although not all of the boundary points passing through the threshold are discontinuous points, as shown in FIGS. 11 and 12, the points at the same height and the edges of the adjacent set of adjacent points are discontinuous points. Specifically, in Figs. 11 and 12, 1, 2, 3, 4 are boundary points, and 1 ', 2', 3 ', 4' are points erased by a high pass filter.

이와 같이, 상기 필터를 통과하지 못하고 소거된 점의 높이를, 필터를 통과한 점들의 높이값(예를 들면, 상기 단계 S 26에서 구해진 1차 보정 높이값)을 내삽(interpolation)하여 산출하고(S 32), 이를 이용하여 최종 높이 지도를 완성한다. 높이의 불연속 점은 높이 분포를 분석하는데 중요한 역할을 하지만, 실제 높이 지도를 작성할 때는 별도로 추출할 필요가 없다. 경계점은 높이값을 그대로 사용하고, 소거된 점(비경계점)은 주위에서 마주 보는 가장 가까운 두 개의 경계점의 높이를 내삽하여, 높이를 구함으로서, 기울기 변화에 대한 정보를 충분히 얻을 수 있기 때문이다. 예를 들면, 도 11 및 12에 있어서, 1'과 같이, 경계점은 아니나, 경계점으로 남은 점들과 동일한 높이에 있는 점은, 주변에 있는 경계점의 내삽을 통해, 주변 경계점과 동일한 높이를 가진다. 반면 2'와 같이, 높이가 다른 경계점 사이에 있는 점은 주위 경계점의 높이로부터 내삽하여, 중간의 높이를 가진다. 이때, 내삽되는 점의 높이는 경계점들의 높이의 가중 평균을 구하는 것으로서, 가중치는 가까운 경계값에 더 많은 영향을 받으므로, 거리 역수(1/r)의 함수 또는 거리의 가우시안 함수로 주어진다. 예를 들면, 가우시안 함수와 가중치 함수를 1/r로 전개했을 때(여기서, r은 내삽되는 점과 경제점의 거리를 나타낸다), 가장 낮은 차수인 1/r을 가중치로 적용하거나, 가우시안 함수의 경우 exp(-r2/1000)을 가중치로 사용하여, 바람직한 결과를 얻을 수 있었다.
In this way, the height of the point that has not passed through the filter and is erased is calculated by interpolating the height value of the points that have passed through the filter (for example, the first correction height value obtained in step S 26) ( S 32), to complete the final height map. Discontinuity points in height play an important role in analyzing the height distribution, but do not need to be extracted when creating the actual height map. This is because the boundary point uses the height value as it is, and the erased point (non-boundary point) interpolates the heights of the two nearest boundary points facing each other to obtain the height, thereby sufficiently obtaining information on the change of the slope. For example, in Figs. 11 and 12, as in 1 ', a point that is not the boundary point but is at the same height as the points remaining as the boundary point has the same height as the peripheral boundary point through interpolation of the peripheral boundary point. On the other hand, points between intermediate boundary points, such as 2 ', have an intermediate height interpolating from the height of the surrounding boundary point. At this time, the height of the interpolated point is a weighted average of the heights of the boundary points. Since the weight is more affected by the nearest boundary value, the height is given as a function of distance inverse (1 / r) or a Gaussian function of distance. For example, if you expand the Gaussian function and the weight function to 1 / r (where r represents the distance between the interpolated point and the economic point), apply the lowest order 1 / r as the weight, or for the Gaussian function, use exp (-r 2/1000) as a weight, to obtain the desired results.

한편, 도 6, 7 등에 도시된 1차원 시료와는 달리, 2차원의 실제 시료에 있어서는, 경계값들이 폐곡선의 형태뿐 만 아니라, 열린 곡선, 점 집합 등의 형태로 존재할 수 도 있다. 따라서, 본 발명에서는, 높이가 산출되어야 하는 소거된 점으로부터 가장 가까운 곳에 위치한 3 내지 7개, 바람직하게는 5개의 경계점으로부터 내삽을 수행하는 것이 바람직하다. 내삽에 사용되는 경계점의 검출에는, 내삽되는 점(소거된 점)을 중심으로 하는 동심원 검색과 방위각 검색을 결합하여 사용한다. 동심원 검색과 방위각 검색이 결합된 방식은, 도 13에 나타낸 바와 같이, 내삽되는 점을 중심으로 동심원 또는 동심 사각형을 그리며, 중심에서 외부 방향으로 검색하되, 경계점이 발견되면, 발견된 경계점으로부터 예를 들면, ±30도, 바람직하게는 ±15의 범위(즉, 경계점이 발견된 방위각) 내에서는 더 이상의 경계점을 검색하지 않는 것이다. 도 13에 있어서, 속이 빈 사각형은 내삽되는 점의 위치, 속이 채워진 사각형은 경계점, 점선으로 된 사각형은 검색하는 동심원, 옅은 색의 점선으로 된 삼각형 부분은 경계점 발견 이후 검색 대상에서 제외된 방위각 영역을 나타낸다. 상기 방법은 내삽되는 점을 포함하는 단일 폐곡선을 검색하는 방법으로서, 1차원인 도 11에서 2'의 점을 내삽할 때, 왼쪽으로 검색 시 경계점 2를 검색했다면, 더 이상 왼쪽 방향으로 검색하지 않는 것과 같은 의미다. 이와 같이, 경계점이 검색되면, 1/r 혹은 exp(-r2/1000)을 가중치로 두고 내삽을 수행하여, 소거된 점의 높이를 산출하고, 상기 높이 정보가 제거된 픽셀에 대하여 상기 내삽에 의하여 산출된 높이를 대입하여 최종 높이 지도를 완성한다(S 34). 도 14는 본 발명에 따라 최종적으로 완성된 3차원 프로파일(높이) 지도의 일 예를 보여준다.
On the other hand, unlike the one-dimensional sample shown in Figures 6, 7, etc., in the two-dimensional real sample, the boundary values may exist in the form of not only closed curves, but also open curves, point sets, and the like. Thus, in the present invention, it is preferable to perform interpolation from three to seven, preferably five boundary points located closest to the erased point at which the height is to be calculated. In the detection of the boundary point used for interpolation, a concentric circle search and azimuth search centered on the interpolated point (erased point) are used in combination. The combined method of concentric search and azimuth search draws concentric circles or concentric squares around the interpolated points, and searches from the center outward, and if an boundary point is found, an example from the found boundary point is shown. For example, no further boundary points are searched within a range of ± 30 degrees, preferably ± 15 (ie, the azimuth angle at which the boundary point is found). In Fig. 13, the hollow rectangle is the position of the interpolated point, the filled rectangle is the boundary point, the dotted rectangle is the concentric circle for searching, and the light dotted line is the azimuth region excluded from the search after the boundary point is found. Indicates. The above method is a method of searching for a single closed curve including an interpolated point. When interpolating a point of 2 'in FIG. 11 which is one-dimensional, if the boundary point 2 is searched to the left, the search is no longer performed to the left. The same meaning as In this way, when the feature points are searching, 1 / r exp or to the interpolation with respect to the place of (-r 2/1000), weighted by performing interpolation, the calculated height of the erase point and the height of the pixel information is removed The final height map is completed by substituting the calculated height (S 34). 14 shows an example of a 3D profile (height) map finally completed according to the present invention.

이와 같이, 시료 영상의 최종 높이 지도가 완성되면, 해당 높이의 이산 웨이블렛 변환(DWT) 부밴드들로 최고 수준 웨이블렛 부밴드값을 재구성하고, R, G, B 각각의 색상에 대하여, 최고 수준 웨이블렛의 근사 부밴드를 가중 평균으로 하여, 부드럽게 연결한 다음, 다중 역이산 웨이블렛 변환(Inverse DWT)을 통해, 입력 영상의 해상도 수준으로 최종 합성 영상을 얻을 수 있다. 생성된 최종 합성 영상은, 영상의 모든 영역이 초점이 맞은 심도가 확장된(Extended Depth of Field) 2차원 영상이 된다.As such, when the final height map of the sample image is completed, the highest level wavelet subband values are reconstructed into discrete wavelet transform (DWT) subbands of the corresponding height, and the highest level wavelet for each color of R, G, and B is obtained. By using the weighted average of the approximate subbands of, smoothly concatenated, and using a multiple inverse discrete wavelet transform (Inverse DWT), a final composite image can be obtained at the resolution level of the input image. The generated final composite image is a 2D image having an extended depth of field in which all regions of the image are focused.

Claims (9)

시료를 서로 다른 높이에서 촬영하여, 초점 부위가 다른 2차원 시료 영상들을 얻는 단계;
상기 시료 영상에 대하여, 이산 웨이블렛 변환을 수행하는 단계;
각각의 시료 영상에 이산 웨이블렛 변환을 적용하여 생성된 상세 부밴드에 있어서, 각 픽셀의 상세 부밴드 계수값을 비교하여, 최대 계수값을 나타내는 영상의 촬영 높이로, 각 픽셀에 대한 초기 높이 지도를 작성하는 단계;
각각의 입력 영상에 있어서, 이산 웨이블렛 변환된 영상의 근사 부밴드 영역에 대하여, 초점 맞음 정도를 계산하는 단계;
상기 초점 맞음 정도에 필터를 적용하여, 초점이 맞은 픽셀(경계점)의 높이 정보는 남기고, 초점이 맞지 않은 픽셀(비경계점)의 높이 정보는 제거하는 단계;
상기 필터를 통과하지 못하고 제거된 픽셀(비경계점)의 높이를, 필터를 통과한 픽셀(경계점)들의 높이값으로부터 내삽하여 산출하는 단계; 및
상기 높이 정보가 제거된 픽셀에 대하여 상기 내삽에 의하여 산출된 높이를 대입하여 높이 지도를 작성하는 단계를 포함하는 3차원 프로파일 지도 작성 방법.Photographing samples at different heights to obtain two-dimensional sample images having different focal points;
Performing discrete wavelet transform on the sample image;
In the detailed subband generated by applying the discrete wavelet transform to each sample image, the detailed subband coefficient values of each pixel are compared, and an initial height map of each pixel is obtained by the photographing height of the image representing the maximum coefficient value. Creating;
For each input image, calculating a degree of focus for an approximate subband region of the discrete wavelet transformed image;
Applying a filter to the degree of focus, leaving height information of the focused pixel (boundary point) and removing height information of the unfocused pixel (non-boundary point);
Interpolating and calculating the height of the pixels (non-boundary points) that have not passed through the filter from the height values of the pixels (boundary points) that have passed through the filter; And
And generating a height map by substituting the height calculated by the interpolation with respect to the pixel from which the height information has been removed. 제1항에 있어서, 상기 초기 높이 지도 작성 단계 후에, 각 픽셀을 중심으로 하는 검증 윈도 내에서, 같은 높이로 계산된 픽셀들의 상세 부밴드 웨이블렛 계수를 더하고, 높이에 따른 웨이블렛 계수의 합을 비교해, 가장 큰 값을 주는 높이를 해당 픽셀의 실제 높이로 보정하는 단계를 더욱 포함하는, 3차원 프로파일 지도 작성 방법.The method according to claim 1, wherein after the initial height mapping step, detailed subband wavelet coefficients of pixels computed to the same height are added in a verification window centered on each pixel, and the sum of wavelet coefficients according to heights is compared. And correcting the height giving the largest value to the actual height of the pixel. 제2항에 있어서, 상기 검증 윈도는 각 픽셀을 중심으로 3 x 3 픽셀 크기를 가지는 것인, 3차원 프로파일 지도 작성 방법.3. The method of claim 2, wherein the verification window has a size of 3 x 3 pixels about each pixel. 제2항에 있어서, 상기 상세 부밴드 웨이블렛 계수가 더해지는, 즉, 그룹화되는 픽셀들을 선정하는 방법으로는, 검증 윈도 내에서 동일 높이에 해당하는 픽셀을 동일 그룹으로 선정하는 것인, 3차원 프로파일 지도 작성 방법.3. The 3D profile map of claim 2, wherein the detailed subband wavelet coefficient is added, that is, a method of selecting pixels to be grouped includes selecting pixels having the same height into the same group in a verification window. How to write. 제1항에 있어서, 상기 근사 부밴드 영역의 초점 맞음 정도는, 하기 수학식 1에 나타낸 바와 같이, 해당 픽셀(좌표: (x, y))의 밝기(I(x, y))와 주변 4점(좌표: ((x, y+1), (x, y-1), (x+1, y), (x-1, y))의 밝기의 차이의 절대값의 합으로 계산되는 것인, 3차원 프로파일 지도 작성 방법.
[수학식 1]
Figure pat00002
The focusing degree of the approximate subband region is calculated by the brightness (I (x, y)) and periphery 4 of the pixel (coordinate: (x, y)) as shown in Equation 1 below. Calculated as the sum of the absolute values of the differences in the brightness of points (coordinates: ((x, y + 1), (x, y-1), (x + 1, y), (x-1, y)) , 3D profile mapping method.
[Equation 1]
Figure pat00002
 제5항에 있어서, 상기 초점 맞음 정도가 인접한 두 픽셀의 경계가 나타나는 밝기 차이의 3배 미만이면, 초점이 맞지 않은 픽셀로 보고 높이 정보를 제거하는 것인, 3차원 프로파일 지도 작성 방법.The method of claim 5, wherein if the degree of focus is less than three times the brightness difference between two adjacent pixels, the height information is regarded as an unfocused pixel and the height information is removed. 제1항에 있어서, 상기 내삽되는 점의 높이는 경계점들의 높이의 가중 평균으로 구해지고, 상기 가중 평균의 가중치 함수는 거리 역수(1/r, 여기서, r은 내삽되는 점과 경계점의 거리를 나타낸다)의 함수 또는 거리의 가우시안 함수인 것인, 3차원 프로파일 지도 작성 방법.The method of claim 1, wherein the height of the interpolated point is obtained as a weighted average of the heights of the boundary points, and the weighted function of the weighted averages is a distance inverse (1 / r, where r represents the distance between the interpolated point and the boundary point). The method of making a three-dimensional profile map, which is a function of or Gaussian of distance. 제7항에 있어서, 상기 가중 평균의 가중치 함수는 1/r 또는 exp(-r2/1000)인 것인, 3차원 프로파일 지도 작성 방법.The method of claim 7, wherein the weighted average of the weight function 1 / r or exp (-r 2/1000) of one of a three-dimensional profile mapping method. 제1항에 있어서, 상기 비경계점의 높이를 내삽하기 위한 경계점들의 선택은, 내삽되는 점(경계점)을 중심으로 동심원 또는 동심 사각형을 그리며, 중심에서 외부 방향으로 검색하되, 경계점이 발견되면, 발견된 경계점으로부터 ±30도의 범위(경계점이 발견된 방위각) 내에서는 더 이상의 경계점을 검색하지 않는 방식으로 수행되는 것인, 3차원 프로파일 지도 작성 방법.The method of claim 1, wherein the selection of the boundary points for interpolating the height of the non-boundary point draws concentric circles or concentric squares about the interpolated point (boundary point), and searches outward from the center, if the boundary point is found. 3. The method of claim 3, wherein the method is performed in such a manner that no further boundary points are searched within a range of ± 30 degrees (azimuth angle at which the boundary point is found) from the determined boundary point.
KR1020110033599A 2011-04-12 2011-04-12 Method for preparing three dimensional profile map for composing images KR101226913B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110033599A KR101226913B1 (en) 2011-04-12 2011-04-12 Method for preparing three dimensional profile map for composing images
JP2011285895A JP5430643B2 (en) 2011-04-12 2011-12-27 Method for creating a three-dimensional profile map for image composition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110033599A KR101226913B1 (en) 2011-04-12 2011-04-12 Method for preparing three dimensional profile map for composing images

Publications (2)

Publication Number Publication Date
KR20120116073A true KR20120116073A (en) 2012-10-22
KR101226913B1 KR101226913B1 (en) 2013-01-28

Family

ID=47272128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110033599A KR101226913B1 (en) 2011-04-12 2011-04-12 Method for preparing three dimensional profile map for composing images

Country Status (2)

Country Link
JP (1) JP5430643B2 (en)
KR (1) KR101226913B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110178019A (en) * 2016-12-07 2019-08-27 奥博泰克有限公司 Method and apparatus for judging defect quality

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6351289B2 (en) * 2014-02-18 2018-07-04 Ntn株式会社 Surface shape measuring apparatus, method and program
JP2019135453A (en) * 2018-02-05 2019-08-15 森合精機株式会社 Residual foreign matter measuring device
CN114111636B (en) * 2021-11-19 2022-10-14 四川大学 Three-dimensional surface shape measuring method based on double-angle rotation wavelet transformation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074192A (en) * 1996-08-30 1998-03-17 Mitsubishi Electric Corp Image processing method and device
JP2001291092A (en) * 2000-04-05 2001-10-19 Matsushita Electric Ind Co Ltd Device and method for identifying image
US7352892B2 (en) 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
JP4375662B2 (en) * 2003-11-17 2009-12-02 株式会社リコー Image processing apparatus, image processing method, program, information recording medium, and imaging apparatus
US7680350B2 (en) 2004-05-07 2010-03-16 TerraMetrics, Inc. Method and system for progressive mesh storage and reconstruction using wavelet-encoded height fields
JP2010129077A (en) * 2008-11-28 2010-06-10 Power Assist Co Ltd Generation means of omnifocal image using wavelet transformation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110178019A (en) * 2016-12-07 2019-08-27 奥博泰克有限公司 Method and apparatus for judging defect quality

Also Published As

Publication number Publication date
KR101226913B1 (en) 2013-01-28
JP2012220490A (en) 2012-11-12
JP5430643B2 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
CN109242888B (en) Infrared and visible light image fusion method combining image significance and non-subsampled contourlet transformation
US10241471B2 (en) Autofocus system and method in digital holography
KR101214702B1 (en) Three dimensional measurement method based on wavelet transform
Khoshelham et al. Performance evaluation of automated approaches to building detection in multi-source aerial data
JP2927350B2 (en) Multi-resolution filter processing method and image matching method using the method
JP5001286B2 (en) Object reconstruction method and system
CN111083365B (en) Method and device for rapidly detecting optimal focal plane position
EP1958158B1 (en) Method for detecting streaks in digital images
CN108369737B (en) Using heuristic graph search to segment layered images quickly and automatically
CN103123687A (en) Fast obstacle detection
KR101226913B1 (en) Method for preparing three dimensional profile map for composing images
CN111784620A (en) Light field camera full-focus image fusion algorithm for guiding angle information by spatial information
KR20160034928A (en) Keypoint identification
CN111179173B (en) Image splicing method based on discrete wavelet transform and gradient fusion algorithm
JP2013002839A (en) Crack detection method
CN113989143A (en) High-precision quick focus detection method based on push-broom type underwater hyperspectral original image
CN116824070B (en) Real-time three-dimensional reconstruction method and system based on depth image
Jazayeri et al. Interest operators in close-range object reconstruction
US20160162753A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN110942480A (en) Monocular single-frame multispectral three-dimensional imaging method
JP4432495B2 (en) Object shape estimation method, object shape estimation device, object shape estimation program, and storage medium storing object shape estimation program
RU2695980C1 (en) Image segmentation device
JPWO2020075237A1 (en) Image processing device and image processing method
CN116883249B (en) Super-resolution endoscope imaging device and method
Atif Optimal depth estimation and extended depth of field from single images by computational imaging using chromatic aberrations

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee