KR101563799B1 - 초점 정보를 이용한 상대적 깊이 추정 방법 - Google Patents

초점 정보를 이용한 상대적 깊이 추정 방법 Download PDF

Info

Publication number
KR101563799B1
KR101563799B1 KR1020140009678A KR20140009678A KR101563799B1 KR 101563799 B1 KR101563799 B1 KR 101563799B1 KR 1020140009678 A KR1020140009678 A KR 1020140009678A KR 20140009678 A KR20140009678 A KR 20140009678A KR 101563799 B1 KR101563799 B1 KR 101563799B1
Authority
KR
South Korea
Prior art keywords
focus
image
focus value
value
magnification
Prior art date
Application number
KR1020140009678A
Other languages
English (en)
Other versions
KR20150089256A (ko
Inventor
전명근
이대종
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020140009678A priority Critical patent/KR101563799B1/ko
Publication of KR20150089256A publication Critical patent/KR20150089256A/ko
Application granted granted Critical
Publication of KR101563799B1 publication Critical patent/KR101563799B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 초점 정보를 이용한 상대적 깊이 추정 방법에 관한 것으로서, 본 발명의 상대적 깊이 추정 방법은 피사체를 XY 스테이지(stage)에 위치시키고 카메라를 Z축 방향으로 이동시키면서 영상을 취득하는 단계, 취득된 영상 정보를 이용하여 초점 값을 계산하는 단계, 계산된 초점 값을 이용하여 두 개의 정초점을 추정하는 단계 및 두 개의 정초점의 차이를 이용하여 상대적 깊이를 추정하는 단계를 포함한다. 본 발명에 의하면 초점 정보를 이용하여 상대적 깊이 추정 방법을 제안함으로써, 보다 세밀하고 효율적으로 깊이를 추정할 수 있는 효과가 있다.

Description

초점 정보를 이용한 상대적 깊이 추정 방법 {Method for estimating relative depth using focus measure}
본 발명은 초점 정보를 이용한 상대적 깊이 추정 방법에 관한 것이다.
최근 로봇 비젼(robot vision), 휴먼 컴퓨터 인터페이스(human computer interface), 지능형 시각 감시(intelligent visual surveillance), 3D 이미지 획득(3D image acquisition), 지능형 운전자 보조 시스템(intelligent driver assistant system) 등과 같은 다양한 분야에서 이용되는 3D 깊이 정보(three-dimensional depth information)의 추정 방법에 대해 활발한 연구가 이루어지고 있다.
물체의 깊이(depth) 정보는 로봇 비전, 3차원 영상, 모션 등을 위해 사용되는 매우 중요한 인자이다. 영상의 깊이를 계산하는 방법은 적외선, 초음파, 레이저, 빛의 산란 특성 등의 신호를 이용하는 방법과, 영상 정보를 분석하여 초점 거리를 측정하는 방식이 있다.
전자의 방식 중에서 적외선과 초음파를 이용하여 거리를 추정하는 방식은 투명판 너머에 피사체가 위치한다거나 피사체가 굴곡이 심할 경우 등 피사체의 상태에 따라 반사되어 돌아오는 신호가 영향을 받을 수 있어서 정확한 초점 계산이 어렵다. 정밀한 측정을 하기 위해서는 레이저 등의 신호를 이용하는데, 이 방식을 사용하기 위해서는 고가의 부가장치를 사용해야 하는 단점이 있다.
영상을 이용하여 물체의 깊이를 추정하기 위해서는 우선 렌즈와 물체 사이의 거리를 변화시켜가면서 영상들을 취득한다. 그런 다음에 거리별로 취득된 각각의 영상에 대해 초점 값을 계산하고, 초점 값이 최대가 되는 위치를 계산하여 영상의 깊이를 추정한다. 따라서 물체의 깊이 정보를 얻기 위해서는 렌즈의 위치에 따라 취득된 영상의 초점 값 계산이 매우 중요한 요소이다. 이러한 초점 값을 계산하기 위한 방법으로는 고역 통과 필터를 사용하여 영상에서 고주파 성분들을 추출하여 그 합을 초점 값으로 이용하는 방식에 기반을 두고 있다.
상술한 바와 같이 영상을 이용하여 깊이를 추정하기 위해서는 렌즈와 물체 간의 거리를 이동하면서 취득한 영상의 초점정보를 검출하기 위해 사용될 초점 계산 방법이 매우 중요하다. 초점 계산을 위해 최근에 다양한 방법들이 제안되고 있으며 대표적인 방법을 살펴보면, 커널 회귀법을 이용하는 방법, 뉴로-퍼지 모델과 초점 정보를 융합한 방법, 유전자 알고리즘과 초점 정보를 융합한 방법, 이산 커브렛 변환을 이용하는 방법, 적응적 윈도우 선택 방법 등이 있다. 그러나 대부분의 연구는 3차원 영상의 모델링에 초점을 맞추고 있다.
대한민국 등록특허 10-1290197
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 고집적 회로인 PCB 패턴 내의 두 물체 간의 깊이를 추정할 수 있는, 초점 정보를 이용한 상대적 깊이 추정 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 상대적 깊이 추정 방법은 피사체를 XY 스테이지(stage)에 위치시키고 카메라를 Z축 방향으로 이동시키면서 영상을 취득하는 단계, 취득된 영상 정보를 이용하여 초점 값을 계산하는 단계, 계산된 초점 값을 이용하여 두 개의 정초점을 추정하는 단계 및 두 개의 정초점의 차이를 이용하여 상대적 깊이를 추정하는 단계를 포함한다.
상기 두 개의 정초점을 추정하는 단계에서, 현재 초점 값과 이전 초점 값의 차이를 계산한 후, 그 차이 값이 양에서 음으로 변하는 시점을 정초점으로 추정할 수 있다.
상기 초점 값을 계산하는 단계에서, Tenengrad 알고리즘을 이용하여 초점 값을 계산하고, T는 임계치라고 할 때, Tenengrad 알고리즘은
Figure 112014008390212-pat00001
의 수학식으로 나타낼 수 있다.
상기 초점 값을 계산하는 단계에서, SMD(Sum-module difference) 알고리즘을 이용하여 초점 값을 계산하고, 상기 SMD 알고리즘은 영상의 수평 방향에 픽셀의 차를
Figure 112014008390212-pat00002
의 수학식을 통해 계산하고, 영상의 수직 방향에 대한 픽셀의 차를
Figure 112014008390212-pat00003
의 수학식을 통해 계산하고, 그 두 값의 합을 초점 값으로 하여
Figure 112014008390212-pat00004
의 수학식으로 나타낼 수 있다.
상기 초점 값을 계산하는 단계에서, GRAE(Energy of the image gradient) 알고리즘을 이용하여 초점 값을 계산하고, 상기 GRAE 알고리즘은 X축과 Y축의 gradient의 제곱을 통하여 에너지를 구하는 것으로서,
Figure 112014008390212-pat00005
의 수학식으로 나타낼 수 있다.
상기 초점 값을 계산하는 단계에서, LAPE(Energy of laplacian of the image) 알고리즘을 이용하여 초점 값을 계산하고, 상기 LAPE 알고리즘은 X와 Y에 대한 Laplacian의 에너지를 구하는 것으로서,
Figure 112014008390212-pat00006
일 때,
Figure 112014008390212-pat00007
의 수학식으로 나타낼 수 있다.
상기 초점 값을 계산하는 단계에서, TENV(Tenengrad variance) 알고리즘을 이용하여 초점 값을 계산하고, 상기 TENV 알고리즘은 영상 기울기의 분산정보를 이용하는 것으로서,
Figure 112014008390212-pat00008
는 평균값을 의미할 때,
Figure 112014008390212-pat00009
의 수학식으로 나타낼 수 있다.
상기 초점 값을 계산하는 단계에서, MOGR(Mathmatical Morphology Gradient) 알고리즘을 이용하여 초점 값을 계산하고, 상기 MOGR 알고리즘은 팽창 연산과 침식 연산을 차를 나타내는 g를 이용하는 것으로서,
Figure 112014008390212-pat00010
의 수학식으로 나타낼 수 있다.
본 발명에 의하면 초점 정보를 이용하여 상대적 깊이 추정 방법을 제안함으로써, 보다 세밀하고 효율적으로 깊이를 추정할 수 있는 효과가 있다.
본 발명에서는 다양한 초점정보를 이용한 패턴간의 상대적 깊이 추정 알고리즘을 제안하며, 제안된 방법은 거리별로 취득된 영상의 초점값 정보를 이용하여 구현하였으며, 깊이는 두 패턴의 상대적 거리를 고려함으로써 추정하게 되는데, 다양한 영상정보를 이용하여 효율적인 깊이 추정을 할 수 있고, 영상을 이용하여 깊이를 추정하는 방식은 2차원 영상정보를 이용하여 3차원 영상의 모델링 분야 뿐만 아니라 PCB(Printed Circuit Board) 패턴의 양품/불량 판정에도 널리 적용될 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 상대적 깊이 추정을 위한 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 상대적 깊이 추정 방법을 보여주는 흐름도이다.
도 3은 동일한 PCB 내에 존재하는 5개의 샘플에 대한 영상을 나타낸 도면이다.
도 4는 A 샘플에 대한 깊이 추정 결과를 나타낸 도표이다.
도 5는 A 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 6은 B 샘플에 대한 깊이 추정 결과를 나타낸 도표이다.
도 7은 B 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 8은 C 샘플에 대한 깊이 추정 결과를 나타낸 도표이다.
도 9는 C 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 10은 D 샘플에 대한 깊이 추정 결과를 나타낸 도표이다.
도 11은 D 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 12는 E 샘플에 대한 깊이 추정 결과를 나타낸 도표이다.
도 13은 E 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 상대적 깊이 추정을 위한 시스템의 구성도이다.
도 1을 참조하면, 본 발명에서는 피사체를 XY 스테이지(stage)에 위치시키고 CCD 카메라를 Z축으로 이동시키면서 영상을 취득하고, 취득된 영상 정보를 이용하여 초점 값을 계산한다. 본 발명에서 Z축에 따른 영상을 모두 취득한 후에는 Z축에 따른 초점 값 정보를 이용하여 깊이를 추정하게 된다.
본 발명은 취득된 영상 내에 깊이 차이가 있는 두 패턴 간의 상대적 차이를 구하는 것이다. 따라서 초점 값의 변곡점은 두 곳으로 나타날 수 있다. 즉, 초점이 하단에 위치에 있는 패턴에 맞추어져 있을 때와, 초점이 상단에 위치에 있는 패턴에 맞추어져 있을 때, 초점 값의 변곡 특성이 나타날 수 있다.
따라서 본 발명에서는 고려 영역의 영상을 모두 취득한 후 취득된 영상의 변곡 특성을 고려하여 상대적 깊이를 추정한다. 즉, 현재 초점 값과 이전 초점 값의 차이를 계산한 후, 그 차이 값이 양에서 음으로 변화는 시점을 정초점으로 판단하고, 두 개의 정초점의 차이를 이용하여 상대적 깊이를 추정한다.
도 2는 본 발명의 일 실시예에 따른 상대적 깊이 추정 방법을 보여주는 흐름도이다.
도 2를 참조하면, 피사체를 XY 스테이지에 위치시키고 카메라를 Z축 방향으로 이동시키면서 영상을 취득한다(S201).
다음, 취득된 영상 정보를 이용하여 초점 값을 계산한다(S203).
그리고, 계산된 초점 값을 이용하여 두 개의 정초점을 추정한다(S205). 본 발명의 일 실시예에서 S205 단계에서 정초점을 추정하는 단계는 현재 초점 값과 이전 초점 값의 차이를 계산한 후, 그 차이 값이 양에서 음으로 변하는 시점을 정초점으로 판단할 수 있다.
다음, 두 개의 정초점의 차이를 이용하여 상대적 깊이를 추정한다(S207).
본 발명에서 상대적 깊이를 추정하기 위해서는 취득한 영상에서 초점을 계산하는 방법이 중요하다. 본 발명의 실시예에 따른 몇 가지 초점 값 계산 알고리즘을 분석하면 다음과 같다.
(1) Tenengrad 알고리즘
Tenenbaum이 제안한 Tenengrad 알고리즘은 초점의 정도가 에지의 선명도에 영향을 미친다는 점을 이용하여 영상의 에지 기울기 크기의 총 누적치가 최대가 되는 곳을 최적의 초점 위치로 결정하는 방법이다. 에지 기울기 크기는 소벨 연산자를 적용하여 계산한다.
소벨 연산자를 사용하는 Tenengrad 초점 값 계산은 다음과 같이 영상 전역에 걸친 기울기 값의 합으로 결정된다.
Figure 112014008390212-pat00011
여기서, T는 임계치를 나타내며, 기울기의 크기가 임계치 이상의 값을 갖는 때에만 초점 값에 포함하게 된다. 이 알고리즘에서는 측정된 값들의 합이 최대가 되는 위치가 초점이 잘 맞는 것이라고 할 수 있다.
(2) SMD(Sum-module difference) 알고리즘
소벨 연산자를 이용한 기울기 크기를 초점 값으로 사용하는 Tenengrad와 달리, Javis가 제안한 SMD 알고리즘은 아래의 식과 같이 영상의 수평 방향과 수직 방향에 대한 픽셀의 차를 각각 계산하고, 그 두 값의 합을 초점 값으로 이용하는 방법이다.
Figure 112014008390212-pat00012
Figure 112014008390212-pat00013
Figure 112014008390212-pat00014
이 방법은 Tenengrad와 기본 개념은 같지만 2차원 마스크를 사용하지 않는다는 점이 다르다. Tenengrad는 초점 값을 구하기 위해 2차원 마스크 영역 내에서 에지의 방향성을 구별하지 않고 기울기 크기를 합하여 계산한다.
하지만 SMD는 초점 값을 구하기 위하여 수학식 2와 수학식 3과 같이 영상의 수평, 수직 방향에서의 기울기 크기를 각각 따로 계산하여 수학식 4와 같이 합하게 된다.
(3) GRAE(Energy of the image gradient) 알고리즘
아래의 수학식과 같이 x축과 y축의 gradient의 제곱을 통하여 에너지를 구한다.
Figure 112014008390212-pat00015
(4) LAPE(Energy of laplacian of the image) 알고리즘
아래의 수학식과 같이 x와 y에 대한 Laplacian의 에너지를 구한다.
Figure 112014008390212-pat00016
여기서,
Figure 112014008390212-pat00017
이다.
Laplacian 알고리즘의 경우 연산속도가 타 알고리즘에 비해 느린 단점이 있으나, 2차 미분 연산자로써 모든 방향의 에지를 검출해 내며, 다른 연산자와 비교하여 날카로운 에지를 검출한다.
(5) TENV(Tenengrad variance) 알고리즘
아래의 수학식과 같이 영상 기울기의 분산정보를 이용한다.
Figure 112014008390212-pat00018
여기서,
Figure 112014008390212-pat00019
는 평균값을 의미한다.
(6) MOGR(Mathmatical Morphology Gradient) 알고리즘
MOGR 알고리즘은 팽창 연산과 침식 연산을 차를 나타내는 g를 이용하는 것으로서, 다음 수학식과 같이 나타낼 수 있다.
Figure 112014008390212-pat00020
본 발명에서 초점에 따른 영상을 취득하기 위하여 실험 장치를 구현하여 실험을 수행하였다.
도 1에서 보는 바와 같이 피사체를 XY 스테이지에 위치시킨 후 CCD 카메라를 Z축 방향으로 이동하며 거리별 초점 값을 계산하였다.
본 발명에 사용된 Z축 제어 모터는 Fastech사의 Ezi-Sevo Plus-R을 이용하였다. 이 제품은 폐루프 제어 시스템으로 모터에 장착된 엔코더에 의해 항상 현재 위치를 파악하고 있기 때문에 탈조가 발생하지 않는 서보 시스템이다.
그리고, 영상처리에 있어 원하는 영상을 얻기 위해 중요한 요소가 바로 조명인데 최근에는 영상 조건에 맞는 조명 설계, 조명 세기의 제어 등에 편의상으로 LED가 많이 사용되고 있으며, 본 발명의 시스템에서도 LED 측광 조명을 이용하였고, 조명 컨트롤러를 이용해서 LED조명의 밝기를 조절할 수 있다.
그리고, 영상 취득을 위해 사용된 CCD 카메라는 BASLER A101FC CCD 카메라로 해상도는 최대 1300×1030 이며, 이 카메라를 이용하여 640×480의 해상도를 갖는 영상을 취득하였다. CCD 카메라와 컴퓨터간에는 IEEE 1394 방식을 이용하여 연결하였다. 마지막으로 사용한 광학계는 Mitutoyo사의 M Plan Apo Seires중 10배율 광학계와 Nicon사의 CF Plan Seires중 5배율과 20배율 광학계를 사용하여, 배율에 따른 특성도 분석하였다.
본 발명에서는 두 물체간의 상대적 깊이가 30㎛ 이내인 PCB 기판을 대상으로 깊이 추정 방법을 분석하였다. 기존 방법은 주로 3차원 모델링에 초점을 둔 방식으로, 깊이 추정 분해능이 대부분 30㎛로 고집적회로인 PCB 패턴 내의 두 물체간의 깊이 추정에는 효과적이지 못하다. 본 발명에서는 1㎛의 분해능을 갖는 장치를 이용하여 영상을 취득하고, LAPE 기반의 초점 계산방법을 적용하여, PCV 패턴 간의 상대적 깊이를 추정한다.
도 3은 동일한 PCB 내에 존재하는 5개의 샘플에 대한 영상을 나타낸 도면이다.
도 3을 참조하면, 동일한 PCB내에 존재하는 5개의 샘플에 대한 영상을 나타냈다. 도 3에서 (a)는 A 샘플이고, (b)는 B 샘플이고, (c)는 C 샘플이고, (d)는 D 샘플이고, (e)는 E 샘플이다.
도 3에서 보는 바와 같이 각각의 샘플에는 상단 패턴과 하단 패턴이 존재한다. 도 3은 하단에 초점을 맞추었을 때 취득한 영상을 나타냈다. 상단 패턴과 하단 패턴간의 상대적 깊이는 나노 시스템의 고정밀도를 갖는 3차원 측정기를 이용하여 측정하였으며, 측정결과 A 샘플은 29㎛, B 샘플은 25㎛, C 샘플은 28㎛, D 샘플은 30㎛, E 샘플은 28㎛ 의 상대적 깊이를 갖는 것으로 나타났다.
영상 취득은 하부 패턴의 정초점을 기준으로 z축을 -50㎛에서 80㎛까지 1㎛씩 이동하면서 초점 척도 별로 초점 값을 계산하였다.
거리별로 측정된 초점값을 보면 두 개의 꼭지점이 존재한다. 첫 번째 꼭지점은 상부 기판이 정 초점이 되었을 때를 의미하며, 두 번째 꼭지점은 하부 패턴이 정초점이 되었을 때를 의미한다. 따라서, 본 발명에서는 두 꼭지점 간의 거리를 이용하여 두 패턴간의 거리정보를 추정할 수 있다.
즉, 실험 방법은 크게 3단계로 볼 수 있는데, 1단계는 영상취득 단계로 CCD카메라를 이용한 PCB의 영상을 1㎛의 단위로 취득한다. 2단계는 정초점 추정 단계로 상측인 기판과 하측인 패턴의 정초점을 찾는다. 이때 초점 값 계산 알고리즘을 이용한다. 3단계는 깊이 추정 단계로 기판과 패턴의 초점 차를 이용하여 깊이를 추정하게 된다.
도 4는 A 샘플에 대한 깊이 추정 결과를 나타낸 도표이고, 도 5는 A 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 5에서 (a)는 10배율 렌즈에 대한 초점 특성을 나타낸 그래프이고, (b)는 20배율 렌즈에 대한 초점 특성을 나타낸 그래프이다.
도 4에서 보는 바와 같이, 10배율보다는 20배율에서 더 좋은 추정 결과를 나타냈다.
또한 도 5에서 보는 바와 같이 렌즈의 위치에 따른 초점 값도 20배율을 사용한 경우 초점에 따른 구분이 명확히 나타남을 확인할 수 있다. 20배율을 사용한 경우 SMD, GRAE, LAPE TENG 방법 모두 동일한 성능을 보였으며, TENV는 다른 척도에 비해 오차가 더 크게 나타났다.
도 6은 B 샘플에 대한 깊이 추정 결과를 나타낸 도표이고, 도 7은 B 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 7에서 (a)는 10배율 렌즈에 대한 초점 특성을 나타낸 그래프이고, (b)는 20배율 렌즈에 대한 초점 특성을 나타낸 그래프이다.
도 6에서 보는 바와 같이, TENG을 제외한 초점 척도에서 동일한 성능을 보였다. 또한 10배율 보다는 20배율의 광학계를 이용한 경우 성능이 매우 우수하였다.
또한, 도 7에서 보는 바와 같이, 20배율의 광학계를 사용한 경우 초점값의 분포도가 더 명확함을 확인할 수 있다.
도 8은 C 샘플에 대한 깊이 추정 결과를 나타낸 도표이고, 도 9는 C 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 9에서 (a)는 10배율 렌즈에 대한 초점 특성을 나타낸 그래프이고, (b)는 20배율 렌즈에 대한 초점 특성을 나타낸 그래프이다.
도 8에서 보는 바와 같이, TENG을 제외한 초점 척도에서 동일한 성능을 보였다.
또한 도 9에서 보는 바와 같이, 20배율의 광학계를 사용한 경우 초점값의 분포도가 더 명확함을 확인할 수 있다.
도 10은 D 샘플에 대한 깊이 추정 결과를 나타낸 도표이고, 도 11은 D 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 11에서 (a)는 10배율 렌즈에 대한 초점 특성을 나타낸 그래프이고, (b)는 20배율 렌즈에 대한 초점 특성을 나타낸 그래프이다.
도 10에서 보는 바와 같이, 10배율과 20배율을 사용한 경우 성능 차이는 나타나지 않았다. 다만 10배율기를 사용한 경우 GRAE와 LAPE 방법이 우수하였으며, 20배율을 사용한 경우 SMD와 LAPE 방법이 우수하였다. LAPE 방법은 10배율과 20배율 모두 우수한 성능을 보임을 알 수 있다.
또한, 도 11에서 보는 바와 같이 20배율의 광학계를 사용한 경우 초점값의 분포도가 더 명확함을 확인할 수 있다.
도 12는 E 샘플에 대한 깊이 추정 결과를 나타낸 도표이고, 도 13은 E 샘플에 대한 렌즈 위치에 따른 초점 특성을 나타낸 그래프이다.
도 13에서 (a)는 10배율 렌즈에 대한 초점 특성을 나타낸 그래프이고, (b)는 20배율 렌즈에 대한 초점 특성을 나타낸 그래프이다.
도 12에서 보는 바와 같이, LAPE 방법이 10배율, 20배율에 상관없이 가장 우수한 결과를 보임을 확인할 수 있다.
또한 도 13에서 보는 바와 같이, 20배율의 광학계를 사용한 경우 초점값의 분포도가 더 명확함을 확인할 수 있다.
이상에서 설명한 바와 같이, 본 발명에서는 SMD, GRAE, LAPE, TENG, TENV의 다양한 초점 척도방법을 고려한 물체의 깊이 추정 알고리즘을 제안하였다. 10배율 광학계와 20배율 광학계의 실험에서 비교적 20배율 광학계의 성능이 우수함을 확인할 수 있었다. 특히 B 샘플의 경우에는 10배에서 가장 성능이 우수한 LAPE 척도를 적용하였을 때 측정오차가 8㎛ 나타났으나, 20배율을 적용한 경우 측정오차가 3㎛ 나타나 20배율을 적용한 경우 성능이 월등히 우수하였다. 또한, 다양한 초점척도 방법 중에서 LAPE 방법이 10배율과 20배율 모두 우수한 성능을 보였다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

Claims (8)

  1. 피사체를 XY 스테이지(stage)에 위치시키고 카메라를 Z축 방향으로 이동시키면서 영상을 취득하는 단계;
    취득된 영상 정보를 이용하여 초점 값을 계산하는 단계;
    계산된 초점 값을 이용하여 두 개의 정초점을 추정하는 단계; 및
    두 개의 정초점의 차이를 이용하여 상대적 깊이를 추정하는 단계를 포함하되,
    상기 두 개의 정초점을 추정하는 단계에서, 현재 초점 값과 이전 초점 값의 차이를 계산한 후, 그 차이 값이 양에서 음으로 변하는 시점을 정초점으로 추정하는 것을 특징으로 하는 상대적 깊이 추정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020140009678A 2014-01-27 2014-01-27 초점 정보를 이용한 상대적 깊이 추정 방법 KR101563799B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140009678A KR101563799B1 (ko) 2014-01-27 2014-01-27 초점 정보를 이용한 상대적 깊이 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140009678A KR101563799B1 (ko) 2014-01-27 2014-01-27 초점 정보를 이용한 상대적 깊이 추정 방법

Publications (2)

Publication Number Publication Date
KR20150089256A KR20150089256A (ko) 2015-08-05
KR101563799B1 true KR101563799B1 (ko) 2015-10-27

Family

ID=53885744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009678A KR101563799B1 (ko) 2014-01-27 2014-01-27 초점 정보를 이용한 상대적 깊이 추정 방법

Country Status (1)

Country Link
KR (1) KR101563799B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829534B1 (ko) 2016-05-25 2018-02-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
KR102191747B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003161604A (ja) 2001-11-29 2003-06-06 Yokogawa Electric Corp 高さ測定方法及び高さ測定装置
WO2011158498A1 (ja) 2010-06-15 2011-12-22 パナソニック株式会社 撮像装置及び撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003161604A (ja) 2001-11-29 2003-06-06 Yokogawa Electric Corp 高さ測定方法及び高さ測定装置
WO2011158498A1 (ja) 2010-06-15 2011-12-22 パナソニック株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
KR20150089256A (ko) 2015-08-05

Similar Documents

Publication Publication Date Title
CN102538672B (zh) 一种基于cmos机器视觉零件尺寸测量系统及测量检验方法
WO2013061976A1 (ja) 形状検査方法およびその装置
KR101371376B1 (ko) 3차원 형상 측정장치
CN109632808A (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
CN105835507A (zh) 一种手机盖板玻璃和液晶屏的贴合方法
JP5913903B2 (ja) 形状検査方法およびその装置
JP2013148356A (ja) 車両位置算出装置
CN101799273B (zh) 一种纳米级尺寸结构测量方法及装置
KR101563799B1 (ko) 초점 정보를 이용한 상대적 깊이 추정 방법
JP2010276540A (ja) 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法
Lee et al. Real-time application of critical dimension measurement of TFT-LCD pattern using a newly proposed 2D image-processing algorithm
TWI751184B (zh) 產生一樣本之三維(3-d)資訊之方法及三維(3-d)量測系統
US7538815B1 (en) Autofocus system and method using focus measure gradient
KR101192300B1 (ko) 케이 평균 군집화를 이용한 하천 수위 계측방법 및 그 시스템
JP2008304190A (ja) レーザ反射光による被計測物の高精度変位計測方法とその装置
Ferrer et al. Optimizing rectangular-shaped object tracking with subpixel resolution
CN103487928A (zh) 散焦量估计方法、成像装置和透明部件
Kragh et al. 3D impurity inspection of cylindrical transparent containers
CN109087320B (zh) 一种应用于倾斜传感器的图像筛选处理方法
JP2011095093A (ja) 三次元計測装置及び三次元計測方法
KR20180079111A (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
To et al. An approach for identifying classifiable regions of an image captured by autonomous robots in structural environments
Dietrich et al. Human-robot interaction booth with shape-from-silhouette-based real-time proximity sensor
Koh et al. Computer vision techniques for IC wire-bond height inspection
Hinz et al. Improved defect segmentation by combining fiber optic fringe projection profilometry with directional variable brightfield illumination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181120

Year of fee payment: 4