KR100878753B1 - 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법 - Google Patents

가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법 Download PDF

Info

Publication number
KR100878753B1
KR100878753B1 KR1020070040406A KR20070040406A KR100878753B1 KR 100878753 B1 KR100878753 B1 KR 100878753B1 KR 1020070040406 A KR1020070040406 A KR 1020070040406A KR 20070040406 A KR20070040406 A KR 20070040406A KR 100878753 B1 KR100878753 B1 KR 100878753B1
Authority
KR
South Korea
Prior art keywords
pattern
cameras
dimensional shape
syringe
virtual camera
Prior art date
Application number
KR1020070040406A
Other languages
English (en)
Other versions
KR20080095640A (ko
Inventor
이현기
조형석
김민영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020070040406A priority Critical patent/KR100878753B1/ko
Publication of KR20080095640A publication Critical patent/KR20080095640A/ko
Application granted granted Critical
Publication of KR100878753B1 publication Critical patent/KR100878753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

이 발명은 한 대의 패턴 주사기와 두 대의 카메라를 이용하여 측정 대상물에 대한 3차원 형상을 측정하는 방법으로서, 패턴 주사기에서 프린지 무늬를 측정 대상물에 주사하는 제1 단계와, 제1 카메라와 패턴 주사기의 가상 카메라 모델을 이용하되 광 삼각법의 원리를 적용하여 2π 모호성을 가지는 후보점들을 찾아내는 제2 단계와, 후보점들을 다른 제2 카메라로 주사하고 스테레오 정합 알고리즘을 적용하여 대응점을 구하는 제3 단계, 및 스테레오 카메라에 적용하는 구속조건을 이용하여 2π 모호성이 제거된 최종 대응점을 확증하여 3차원 형상을 측정하는 제4 단계로 구성된다. 이 발명은 광 삼각법에 기반을 두고, 다양한 프린지 무늬를 주사하여 사용하는 패턴 주사기에서의 가상 카메라 모델 기술과, 파라미터들이 서로 같거나 다른 두 대의 카메라를 사용하는 스테레오 정합 기술을 융합하여 2π 모호성을 해결함으로써, 물체의 3차원 형상을 정확하게 측정할 수 있다.

Description

가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법{3D measurement apparatus by using virtual camera model and two cameras, and method thereof}
도 1은 이 발명의 한 실시예에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치의 개념도이고,
도 2는 이 발명에 따른 패턴 주사기의 여러 구조를 도시한 개략도이고,
도 3은 도 2와 같은 아날로그 또는 디지털 프린지 패턴 주사기를 이용하여 주사한 다양한 프린지 무늬를 보여주는 도면들이고,
도 4는 이 발명에 따른 3차원 형상 측정장치의 구성 및 위치관계를 도시한 개념도이고,
도 5는 도 4에 도시된 3차원 형상 측정장치의 알고리즘 구현과정을 도시한 개념도이고,
도 6은 이 발명에 따른 3차원 형상 측정장치의 실제 사진과 참조면에 주사된 프린지 무늬 사진이고,
도 7은 이 발명에 따른 3차원 형상 측정장치를 통한 거리별 측정방식 및 그 결과값을 도시한 도면들이며,
도 8 내지 도 11은 이 발명에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정방법과 종래의 광 삼각 측정방법으로 실험하기 위한 각각의 대상물과 그 실험결과들을 각각 나타낸 도면들이다.
♠ 도면의 주요부분에 대한 부호의 설명 ♠
10 : 패턴 주사기 20 : 좌측 카메라
30 : 우측 카메라 40 : 측정 대상물
50 : 제어부 60 : 참조면
70 : 프린지 무늬 80 : 가상 카메라
이 발명과 관련된 문헌 정보로는 미국특허 제5,307,152호(1994.04.26), 제5,135,308호(1992.08.04), 제6,965,690호(2005.11.15), 제7,103,212호(2006.09.05), 제6,970,600호(2005.11.29), 제6,795,200호(2004.09.21), 제6,775,397호(2004.08.10), 제6,028,672호(2000.02.22), 제6,493,095호(2002.12.10) 및 제6,664,531호(2003.12.16)와, 대한민국 공개특허공보 제2005-0031328호(2005.04.06) 등이 있다.
이 발명은 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법에 관한 것이며, 더욱 상세하게는 광 삼각법에 기반을 두고, 다양한 프린지 무늬를 주사하여 사용하는 패턴 주사기에서의 가상 카메라 모델 기술과, 파라미터들이 서로 동일하거나 다른 두 대의 카메라를 사용하는 스테레오 정합 기술을 융합하여 2π 모호성을 해결함으로써, 물체의 3차원 형상을 정확하게 측정할 수 있는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법에 관한 것이다.
3차원 형상 측정기술은 기존에 많은 연구들이 이루어져 왔다. 그 중에서 많이 사용되는 방법으로는 레이저를 이용하는 광 삼각법, 모아레를 이용하는 방법, 및 스테레오를 이용하는 방법 등이 있다. 이 중에서 광 삼각법이 정확하고 빠른 방법으로 인식되고 있다. 그런데, 광 삼각법은 근본적인 문제점을 가지고 있는데, 그것은 프린지 무늬의 주기성으로 인한 2π 모호성이다. 즉, 스캐닝 과정을 없애고 빠르게 환경을 측정하기 위해 여러 선을 주사할 경우, 2π 모호성이 발생하더라도 상대적인 3차원 정보를 얻을 수는 있지만, 정확한 절대적인 3차원 형상을 측정하는 것이 불가능하다. 예를 들면, 주사하는 패턴의 주기의 한 주기보다 그 이상이 되는 높이를 가지고 있는 물체는 측정이 되지 않는다는 것이다. 이런 문제는 주변 값과의 위상 변위가 2π이상이 되면, 높이에다 2Nπ(N : 자연수)을 더해주거나 빼주는 방법으로 문제를 해결해 왔다. 하지만 만약 물체가 서로 앞뒤로 떨어져 있는 경우, 2π 모호성에 의한 결과인지 원래 2π 이상의 깊이 차가 있는 물체들인지를 구분하는 것이 불가능하다.
따라서 이를 해결하기 위한 많은 발명들이 있어 왔다. 이들 방법 중에서 가장 대표적인 방법은 주사하는 패턴의 위상을 변화시켜 그 영상들을 분석함으로써 형상을 얻어내는 방법이다. 그런데, 이 방법을 사용할 경우 물체의 형상 변화는 정확하게 알아낼 수 있었지만, 완벽하게 2π 모호성을 해결해 주지는 못했다.
최근에는 프로젝터와 두 대의 카메라를 사용하는 발명에 대해 공지되어 있다. 그 중에서, 대한민국 특허공개 제2005-0031328호에는 "스테레오비전과 모아레를 이용한 3차원 검사 방법 및 장치"에 대해 공개되어 있다. 이 공개기술은 위상천이를 이용하여 패턴을 여러 번 주사하여 위상천이 시키고, 이것을 두 대의 카메라가 각각 측정하여 각각의 3차원 형상을 만들고, 이렇게 만들어진 3차원 정보를 비교하여 최종 3차원 형상을 측정하도록 구성되어 있다. 그런데, 이 공개기술은 3차원 형상을 비교하기 때문에 계산 시간이 길어지고, 위상천이 시킬 수 있는 하드웨어 장치를 구비하여야 하는 단점이 있다.
상기와 유사한 연구기술로는 패턴 주사기와 두 대의 카메라를 사용하여 3차원 형상을 측정하고자 하는 기술이 있었다.[참고문헌 : M.Y. Kim and H.S. Cho, "An active trinocular vision system of sensing indoor navigation environment for mobile robots", Sensors & Actuators : A. Physical, Vol. 125, No.2, pp. 192-209, 2006.] 이 연구기술은 패턴 주사기를 또 다른 한 대의 가상 카메라로 가정하여 가상의 패턴 영상을 만들고, 이 영상과 획득된 나머지 두 대의 카메라 영상을 이용하여 3차원 좌표계를 구한다. 이때, 3차원 좌표계는 선 정합을 이용하여 구한다. 이렇듯, 이 연구기술은 선 정합을 이용하기 때문에 2π 모호성을 완전히 제거하지 못하였고, 선을 이용하므로 선을 추출하고 묶어주는 과정에 있어 연산시간이 많이 소요되는 단점이 있다.
또한, 상기와 유사한 연구기술로는 다음과 같은 논문이 있다.[참고문헌 : Hyunki Lee, Hyungsuck Cho and Minyoung Kim, A New 3D Sensor System for Mobile Robots Based on Moire and Stereo Vision Technique, Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, October 9 - 15, China,,pp.1384 - 1389, 2006.] 이 논문에는 모아레와 광 삼각법의 2π 모호성을 극복하기 위해 한 대의 패턴 주사기와 두 대의 카메라를 사용하여 3차원 형상을 측정하는 알고리즘에 대해 공지되어 있다. 그런데, 이 기술은 카메라의 내부 파라미터들이 모두 동일하고, 외부 파라미터가 X축의 값만 다른 경우에 사용할 수 있는 방법이다. 따라서 이 기술은 실제 측정환경에 적용하기가 어렵고, 카메라의 파라미터들을 잘 맞추어야 하는 단점이 있다.
따라서 이 발명은 앞서 설명한 바와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 광 삼각법에 기반을 두고, 다양한 프린지 무늬를 주사하여 사용하는 패턴 주사기에서의 가상 카메라 모델 기술과, 파라미터들이 서로 같거나 다른 두 대의 카메라를 사용하는 스테레오 정합 기술을 융합하여 2π 모호성을 해결함으로써, 물체의 3차원 형상을 정확하게 측정할 수 있는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법을 제공하는 데 그 목적이 있 다.
상기 목적을 달성하기 위한 이 발명은, 한 대의 패턴 주사기와 두 대의 카메라를 이용하여 측정 대상물에 대한 3차원 형상을 측정하는 방법으로서, 패턴 주사기에서 프린지 무늬를 측정 대상물에 주사하는 제1 단계와, 제1 카메라와 패턴 주사기의 가상 카메라 모델을 이용하되 광 삼각법의 원리를 적용하여 2π 모호성을 가지는 후보점들을 찾아내는 제2 단계와, 후보점들을 다른 제2 카메라로 주사하고 스테레오 정합 알고리즘을 적용하여 대응점을 구하는 제3 단계, 및 스테레오 카메라에 적용하는 구속조건을 이용하여 2π 모호성이 제거된 최종 대응점을 확증하여 3차원 형상을 측정하는 제4 단계를 포함하는 것을 특징으로 한다.
이 발명의 제3 단계는 후보점들을 제2 카메라의 주사 모델을 이용하여 제2 카메라의 패턴 영상으로 주사할 수 있다.
또한, 이 발명은 빛을 주기적으로 주사하는 패턴 주사기와, 패턴 주사기의 빛에 의해 투영된 프린지 무늬를 각각 검출하는 두 대의 카메라, 및 패턴 주사기와 두 대의 카메라들의 작동을 제어하는 제어부를 포함하는 3차원 형상 측정장치에 있어서, 제어부는, 제1 카메라와 패턴 주사기의 가상 카메라 모델을 이용하되 광 삼각법의 원리를 적용하여 2π 모호성을 가지는 후보점들을 찾아낸 후, 후보점들을 다른 제2 카메라로 주사하고 스테레오 정합 알고리즘을 적용하여 대응점을 구하고, 스테레오 카메라에 적용하는 구속조건을 이용하여 2π 모호성이 제거된 최종 대응 점을 확증하여 3차원 형상을 측정하는 것을 특징으로 한다.
이 발명의 패턴 주사기로는 위치와 주사 각도가 이미 측정(calibration)되어진 다양한 모양의 패턴을 주사할 수 있는 아날로그 또는 디지털 패턴 주사기를 사용할 수 있다.
이 발명의 제1, 제2 카메라는 그 외부 및 내부 파라미터가 동일하거나 다를 수 있다.
아래에서, 이 발명에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법의 양호한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 이 발명의 한 실시 예에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치의 개념도이다. 도 1에 도시된 바와 같이, 이 실시 예에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치는 패턴 주기를 자유롭게 조절하여 측정 대상물(40)의 표면에 주기적인 빛을 주사하는 패턴 주사기(10)와, 패턴 주사기(10)의 빛에 의해 투영된 프린지 무늬를 각각 검출하는 좌우측 카메라(제2, 제1 카메라)(20, 30)와, 패턴 주사기(10)의 작동을 제어하면서 좌우측 카메라(20, 30)에서 검출한 영상들을 비교 분석하는 제어부(50)를 구비한다. 이때, 좌우측 카메라(20, 30)는 그 내부 파라미터들이 서로 동일하거나 다르게 구성된다. 도 1에서, 미설명부호 60은 참조면, 70은 프린지 무늬, 80은 패턴 주사기(10)의 가상 카메라를 각각 나타낸다.
도 2는 이 발명에 따른 패턴 주사기의 여러 구조를 도시한 개략도로서, (a) 는 격자를 이용한 패턴 주사기, (b)는 레이저와 회전 다면경을 이용한 패턴 주사기, (c)는 공간 광변조기를 이용한 패턴 주사기, (d)는 DMD(Digital Micromirror Device)를 이용한 패턴 주사기를 각각 도시한 개략도이다. 도 2에 도시된 바와 같이, 이 실시예의 패턴 주사기는 다양한 방식으로 구현할 수가 있는 데, 크게 2가지로 나눌 수 있다.
먼저, 도 2의 (a)와 같이 광원(110), 렌즈(111, 112) 및 격자(113)를 이용한 아날로그 패턴 주사기가 있다. 다음으로는 도 2의 (b), (c), (d)와 같이 패턴의 모양을 다양하게 바꿀 수 있는 디지털 패턴 주사기가 있다.
도 2의 (b)와 같이 구성된 디지털 패턴 주사기는 레이저(123)에서 주사된 빛이 렌즈를 통해 회전 다면 거울(126)에서 반사되어 물체로 주사된다. 이때, 회전 다면 거울(126)의 회전 속도와 레이저를 온/오프(on/off) 시키는 속도를 조절하게 되면, 각기 다른 형태의 패턴이 주사된다. 이러한 회전 속도와 온/오프 시간을 조절하기 위해 타이머(120, 121, 122)가 사용되고, 시간을 조절하기 위해서는 피드백 시스템이 필요한데 이것은 거울(125)과 광 검출기(124)에 의해 이루어진다. 이러한 원리를 이용하여 패턴의 주기를 다양하게 조절할 수 있다.
도 2의 (c)와 같이 구성된 디지털 패턴 주사기는 광원(130), 렌즈(131, 132) 및 공간 광변조기(133)로 구성되어, 공간 광변조기(133)에 원하는 패턴이 입력되면 도 2의 (a)와 같은 아날로그 패턴 주사기에서와 동일한 원리로 패턴이 주사된다.
도 2의 (d)와 같이 구성된 디지털 패턴 주사기는 광원(140), 렌즈(141, 142) 및 마이크로 미러(143)로 구성되어, 마이크로 미러(143)에 원하는 패턴이 입력되면 도 2의 (a)와 같은 아날로그 패턴 주사기에서와 동일한 원리로 패턴이 주사된다.
이 실시예에서는 상기와 같은 유연한 패턴 주사기를 사용하므로 다양한 하드웨어(장치)의 교체 없이 소프트웨어적인 조작만으로 패턴의 주기를 조절할 수 있다.
도 3은 도 2와 같은 아날로그 또는 디지털 패턴 주사기를 이용하여 주사한 다양한 프린지 무늬를 보여주는 도면들이다. 일반적으로 종래 기술에서는 도 3의 (a), (b), (c)의 패턴들을 주로 이용하였지만, 이 발명에서는 이들 외에도 도 3의 (d), (e), (f)와 같은 다양한 패턴들에 대해서도 적용이 가능한 알고리즘으로 구성된다.
도 4는 이 발명에 따른 3차원 형상 측정장치의 구성 및 위치관계를 도시한 개념도이다. 도 1 및 도 4에 도시된 바와 같이, 이 실시예의 좌우측 카메라(20, 30)는 모두 보정(calibration)이 되어 있는 상태로 카메라의 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터들을 모두 알고 있다. 이때, 카메라의 내부, 외부 파라미터는 동일하거나 혹은 다를 수 있다. 그리고 패턴 주사기(10) 또한 보정이 되어 있고, 패턴 주사기(10)의 위치 또한 알고 있는 상태이다. 하지만, 패턴 주사기(10)에서의 가상 카메라(80) 모델을 만들기 위해서는 좌우측 카메라(20, 30)의 내부 파라미터들과 외부 파라미터들 중에서 회전에 관련된 파라미터들을 임의로 선정해야 한다.
도 5는 도 4에 도시된 3차원 형상 측정장치의 알고리즘 구현과정을 도시한 개념도로서, 도 5의 (a)는 이 발명에 따른 알고리즘을 구현하기 위한 첫 번째 단계 로서, 가상 카메라(80)의 패턴 영상(81)과 우측 카메라(30)의 패턴 영상(31)을 이용하여 3차원 형상 측정 후보점들을 구하는 과정을 보여주는 도면이고, 도 5의 (b)는 도 5의 (a)에서 구한 측정 후보점을 좌측 카메라(20)의 패턴 영상(21)으로 주사하고 스테레오 비전의 구속 조건을 이용하여 최종의 정합점을 구하는 과정을 보여주는 도면이다. 도 5에서 VEr1은 R1에 대한 가상 카메라(80) 모델에서의 공액선(epipolar line)이고, LEr1은 R1에 대한 좌측 카메라(20)에서의 공액선(epipolar line)이며, α와 γ는 A와 C점을 좌측 카메라(20)에 주사한 점의 좌표를 가리킨다.
도 6은 이 발명에 따른 3차원 형상 측정장치(하드웨어 시스템)의 실제 사진(a)과, 가상 카메라(80) 모델에서 구한 참조면에 주사된 프린지 무늬 사진(b)이다. 그리고 도 7은 이 발명에 따른 3차원 형상 측정장치를 통한 거리별 측정방식 및 그 결과값을 도시한 도면들로서, 도 7의 (a)는 이 발명의 성능을 측정하기 위한 실험으로 간단한 사각형 평면의 거리를 변화시켜 가며 측정하는 과정을 보여주는 도면이고, 도 7의 (b)는 도 7의 (a)의 실험 방법을 이용하여 구한 측정 결과값을 도시한 그래프이다.
이 실시예에 따른 3차원 형상 측정을 위한 알고리즘은 크게 세 단계로 나누어져 있다. 도 1 및 도 5의 (a)에 도시된 바와 같이, 첫 번째 단계(S51)는 우측 카메라(30)와 패턴 주사기(10)의 가상 카메라(80)를 이용하여 광 삼각법의 원리를 적용하고, 그 방법을 통하여 2π 모호성을 가지는 후보점들을 찾아내는 과정이다. 먼저, 가상 카메라(80)의 파라미터들을 이용하여 참조면(60)에 주사된 프린지 무 늬(70)를 도 6의 (b)와 같이 구한다. 그런 다음, 우측 평면에서 임의의 프린지 가장자리 값의 한 점(R1)을 선택한다.
다음으로 가상 카메라(80)의 패턴 영상(81)에서 우측 평면의 한 점(R1)에 대응하는 공액선(epipolar line)을 계산한다. 공액선(epipolar line)은 도 5의 (a)에서와 같이 우측 영상의 한 점(R1)과 광 중심점(OR)을 잇는 선을 가상 카메라(80)의 패턴 영상(81)으로 주사한 선을 가리킨다. 그런데, 우측 카메라(30)의 파라미터들과 가상 카메라(80) 모델의 파라미터들을 모두 알고 있으므로, 각각 카메라(30, 80)의 주사행렬(MR, MV)을 구할 수 있고, 아래의 수학식 1 내지 4를 이용하여 한 점(R1)에 대한 공액선(epipolar line)을 구할 수 있다.
Figure 112007031302011-pat00001
Figure 112007031302011-pat00002
Figure 112007031302011-pat00003
Figure 112007031302011-pat00004
상기 수학식에서 FR은 기초 메트릭스(Fundamental Matrix)라고 하여 가상 카메라(80) 모델에 대한 우측 카메라(30)의 기하학적인 관계를 나타내고, lel은 한 점(R1)에 대한 가상 카메라(80)의 패턴 영상(81)에서의 공액선(epipolar line)을 가리킨다. 그리고 xR1, yR1은 우측 영상(31)면에서의 한 점의 영상 좌표를 가리키고, Fv는 우측 카메라(30) 모델에 대한 가상 카메라(80) 모델의 기하학적인 관계를 나타내고, eR은 우측 카메라(30)에서 사라지는 점(Vanishing point)을 가리킨다.
이렇게 공액선(epipolar line)을 찾은 후 그 공액선(epipolar line)에서의 프린지 무늬 중에서 선택된 프린지 가장자리 값과 같은 무늬를 가지고 있는 프린지 무늬들을 선택하고, 이점들을 패턴 주사기(10)의 중심점과 이어 나간다. 이때, 선택된 한 점(R1)과 우측 카메라(30)의 광 중심점(OR)을 잇는 선과 만나는 점을 구하고, 그 점에 A, B, C…의 부호를 준다. 이렇게 구한 A, B, C… 점들이 바로 모아레 및 광 삼각법 측정 원리에서 생기는 2π 모호성으로 인해 생기는 점이다.
그런 다음, 두 번째 단계(S52)를 수행하는데, 이렇게 구한 후보점들 중에서 선택된 점의 유일한 대응점을 찾기 위해 스테레오 정합을 이용한 알고리즘을 적용한다. 즉, 첫 번째 단계(S51)에서 구한 후보점 A, B, C…들을 좌측 카메라(20)의 패턴 영상(21)에 모두 주사시킨다. 이때, 아래의 수학식 5를 사용한다.
Figure 112007031302011-pat00005
수학식 5에서 Xcand, Ycand 및 Zcand 는 후보점들의 월드좌표계에서의 3차원 좌표를 가리키고, ML 은 좌측 카메라(20)의 주사행렬(projection matrix)을 가리킨다. 그리고 s는 크기값(scale factor)을 가리키고, xL, yL은 후보점들이 좌측 영상(21)으로 주사된 영상점의 좌표를 가리킨다.
그리고 상기 후보점들 중에서 유일한 대응점은 선택된 한 점(R1)과 같은 프린지 무늬를 가지고 있어야 한다. 따라서 이런 과정을 통해 최종적으로 선택한 한 점(R1)의 대응점을 찾을 수 있다. 이런 과정을 모든 행과 열의 프린지 가장자리 점들에 대해 적용하면 최종적으로 정확한 3차원 형상을 측정할 수 있다.
하지만, 이 방법을 사용하더라도 완벽하게 2π 모호성이 사라지는 것은 아니다. 따라서 이 발명에서는 이를 완전히 제거하기 위해 스테레오 카메라에 적용하는 세 가지 구속조건을 사용하였다. 첫 번째 구속조건은 공액선 상에서 우측 영상에 대응하는 좌측 영상의 대응점은 반드시 우측 영상의 대응점 보다 우측에 있어야 한다는 것이고, 두 번째 구속조건은 "대응점들끼리는 순서가 뒤바뀌지 않는다"라는 조건이다. 마지막으로 세 번째 구속조건은 차단(occlusion)에 관한 조건으로 한쪽 은 항상 순서대로 진행되어야 하지만, 반대쪽의 대응점은 몇 포인트를 건너 뛸 수 있다는 것이다. 이러한 조건들을 위의 대응점을 찾는 알고리즘에 적용하면 최종적인 대응점을 확인할 수 있다(S53). 또한, 이러한 구속조건을 적용하면 모아레 방법과 광 삼각법에서 문제가 된 2π 모호성을 제거할 수 있다.
아래에서는 상기와 같은 이 발명에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정방법과 종래의 측정방법으로 다양한 측정 대상물들을 각각 실험한 결과에 대해 설명한다.
이 실험은 도 1에 도시된 바와 같이 구성되며, 도 6의 (a)에 도시된 실물의 3차원 형상 측정장치를 이용하였다. 즉, 이 실험에 사용되는 3차원 형상 측정장치는 한 대의 패턴 주사기(10)와 좌우측 카메라(20, 30)를 갖는다. 그리고 참조면(60)에서의 패턴의 두께는 16mm 이고, 각각의 카메라에 대한 파라미터들을 아래와 같이 보정하였다. 여기서, 표 1은 좌측 카메라(20), 표 2는 우측 카메라(30), 표 3은 가상 카메라(80) 모델에 대한 각각의 보정값들이다.
Figure 112007031302011-pat00006
Figure 112007031302011-pat00007
Figure 112007031302011-pat00008
먼저, 이 실시예에 따른 3차원 형상 측정장치의 성능을 평가하기 위해 도 7의 (a)와 같이 평행판(90)을 두고 실험을 하였다. 이때, 평행판(90)과 센서 사이의 거리(d)를 변화시키며 측정하여 보았다. 그 결과 도 7의 (b)와 같은 결과를 얻을 수 있었다. 즉, 측정할 때 에러 등에 의해 최대 약 7cm 의 오차가 나는 것을 알 수 있었다. 이것은 측정의 최대값과 최소값의 차이로, 표준편차의 값은 훨씬 작을 것으로 추정한다. 이 실험에서는 PMP(Phase Measuring Profilometry) 장비를 이용하여 실험을 하였고, 프린지 무늬는 도 3의 (a)와 같은 수직 프린지 무늬를 사용하였다.
도 8 내지 도 11은 이 발명에 따른 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정방법과 종래의 광 삼각 측정방법으로 실험하기 위한 각각의 대상물과 그 실험결과들을 각각 나타낸 도면들이다.
[ 실험 1 ]
도 8의 (a)는 평면 측정 대상물(91)을 보여주기 위한 도면으로, 여기서는 참조면을 측정 대상물(91)로 하여 측정하였다. 도 8의 (b)는 측정 대상물(91)에 대해 좌우측 카메라(20, 30)에서 획득한 패턴 영상을 보여주는 도면이고, 도 8의 (c)는 좌우측 카메라(20, 30)와 패턴 주사기(10)를 이용하되 이 발명의 방법을 적용하여 구한 측정 대상물(91)에 대해 3차원 결과를 나타낸 도면이고, 도 8의 (d)는 우측 카메라(30)와 패턴 주사기(10)를 이용하되 종래의 광 삼각 측정방법을 적용하여 구한 측정 대상물(91)에 대한 3차원 결과를 나타낸 도면이다.
도 8의 (c), (d)에서 알 수 있는 바와 같이, 종래의 방법과 이 발명의 방법 모두에서 거의 정확한 결과값이 도출됨을 확인할 수 있었다.
[ 실험 2 ]
도 9의 (a)는 평면 측정 대상물(92)을 보여주기 위한 도면으로, 80 x 420 x 50mm 크기의 사각형 형상의 측정 대상물(92)을 참조면 앞에 놓고 측정하였다. 도 9의 (b)는 측정 대상물(92)에 대해 좌우측 카메라(20, 30)에서 획득한 패턴 영상을 보여주는 도면이고, 도 9의 (c)는 좌우측 카메라(20, 30)와 패턴 주사기(10)를 이용하되 이 발명의 방법을 적용하여 구한 측정 대상물(92)에 대해 3차원 결과를 나타낸 도면이고, 도 9의 (d)는 우측 카메라(30)와 패턴 주사기(10)를 이용하되 종래의 광 삼각 측정방법을 적용하여 구한 측정 대상물(92)에 대한 3차원 결과를 나타낸 도면이다.
도 9의 (c), (d)에서 알 수 있는 바와 같이, 측정 대상물(92)의 두께(50mm)가 패턴 주기의 2π보다 작기 때문에, 종래의 방법과 이 발명의 방법 모두에서 거의 정확한 결과값이 도출됨을 확인할 수 있었다.
[ 실험 3 ]
도 10의 (a)는 평면 측정 대상물(93)을 보여주기 위한 도면으로, 222 x 400 x 80mm 크기의 사각형 형상의 측정 대상물(93)을 참조면으로부터 50mm 이격시킨 상태에서 측정하였다. 도 10의 (b)는 측정 대상물(93)에 대해 좌우측 카메라(20, 30)에서 획득한 패턴 영상을 보여주는 도면이고, 도 10의 (c)는 좌우측 카메라(20, 30)와 패턴 주사기(10)를 이용하되 이 발명의 방법을 적용하여 구한 측정 대상물(93)에 대해 3차원 결과를 나타낸 도면이고, 도 10의 (d)는 우측 카메라(30)와 패턴 주사기(10)를 이용하되 종래의 광 삼각 측정방법을 적용하여 구한 측정 대상물(93)에 대한 3차원 결과를 나타낸 도면이다.
종래의 측정방법의 경우에는 측정 대상물(93)이 참조면으로부터 50mm 이격됨에 따라 측정 대상물(93)의 표면깊이가 패턴 주기의 2π보다 크기 때문에, 도 10의 (d)와 같이 측정 대상물(93)의 공간정보와 다르게 표시되어 깊이 값을 제대로 찾지 못하였다. 그런데, 이 발명의 방법의 경우에는 도 10의 (c)와 같이 실제와 동일한 3차원 형상 정보로 표시되어 정확한 깊이 값을 찾을 수 있었다.
[ 실험 4 ]
도 11의 (a)는 평면 측정 대상물(94)을 보여주기 위한 도면으로, 지름이 190mm인 두 개의 반원이 붙어있는 측정 대상물(94)을 도 11의 (a)와 같이 참조면 앞에 놓고 측정하였다. 도 11의 (b)는 측정 대상물(94)에 대해 좌우측 카메라(20, 30)에서 획득한 패턴 영상을 보여주는 도면이고, 도 11의 (c)는 좌우측 카메라(20, 30)와 패턴 주사기(10)를 이용하되 이 발명의 방법을 적용하여 구한 측정 대상물(94)에 대해 3차원 결과를 나타낸 도면이고, 도 10의 (d)는 우측 카메라(30)와 패턴 주사기(10)를 이용하되 종래의 광 삼각 측정방법을 적용하여 구한 측정 대상물(94)에 대한 3차원 결과를 나타낸 도면이다.
종래의 측정방법의 경우에는 도 11의 (d)와 같이 정확한 결과를 찾지 못하고 있음을 알 수 있다. 이러한 결과는 래핑(wrapping)방법을 통하여 물체의 형상을 찾을 수는 있으나, 정확한 물체의 위치까지 파악하는 것은 불가능함을 의미한다. 그런데, 이 발명의 방법의 경우에는 도 11의 (c)와 같이 정확한 3차원 위치가 추출됨을 알 수 있다. 따라서 이 발명의 결과로부터 종래의 측정방법의 2π 모호성이 해결됨을 알 수 있다.
이 발명은 광 삼각법에 기반을 두고, 다양한 프린지 무늬를 주사하여 사용하는 패턴 주사기에서의 가상 카메라 모델 기술과, 파라미터들이 서로 같거나 다른 두 대의 카메라를 사용하는 스테레오 정합 기술을 융합하여 2π 모호성을 해결함으로써, 물체의 3차원 형상을 정확하게 측정할 수 있다.
또한, 이 발명은 다양한 패턴 주사기와 패턴들에 대해서도 적용이 가능하므로 다양한 환경에 대한 측정이 가능하다.
이상에서 이 발명의 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치 및 방법에 대한 기술사항을 첨부도면과 함께 서술하였지만 이는 이 발 명의 가장 양호한 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다.
또한, 이 기술분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술사상의 범주를 이탈하지 않고 첨부한 특허청구범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (7)

  1. 한 대의 패턴 주사기와 두 대의 카메라를 이용하여 측정 대상물에 대한 3차원 형상을 측정하는 방법으로서,
    상기 패턴 주사기에서 프린지 무늬를 상기 측정 대상물에 주사하는 제1 단계와,
    제1 카메라와 상기 패턴 주사기의 가상 카메라 모델을 이용하되 광 삼각법의 원리를 적용하여 2π 모호성을 가지는 후보점들을 찾아내는 제2 단계와,
    상기 후보점들을 다른 제2 카메라로 주사하고 스테레오 정합 알고리즘을 적용하여 대응점을 구하는 제3 단계, 및
    스테레오 카메라에 적용하는 구속조건을 이용하여 2π 모호성이 제거된 최종 대응점을 확증하여 3차원 형상을 측정하는 제4 단계를 포함하며,
    상기 구속조건은, 공액선(epipolar line) 상에서 우측 영상에 대응하는 좌측 영상의 대응점은 반드시 우측 영상의 대응점보다 우측에 있어야 하고, 대응점들끼리는 순서가 뒤바뀌지 않아야 하며, 한쪽의 대응점은 항상 순서대로 진행되어야 하지만 반대쪽의 대응점은 몇 포인트를 건너뛸 수 있다는 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정방법.
  2. 청구항 1에 있어서,
    상기 제3 단계는 상기 후보점들을 상기 제2 카메라의 주사 모델을 이용하여 제2 카메라의 패턴 영상으로 주사하는 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정방법.
  3. 빛을 주기적으로 주사하는 패턴 주사기와, 상기 패턴 주사기의 빛에 의해 투영된 프린지 무늬를 각각 검출하는 두 대의 카메라, 및 상기 패턴 주사기와 상기 두 대의 카메라들의 작동을 제어하는 제어부를 포함하는 3차원 형상 측정장치에 있어서,
    상기 제어부는, 제1 카메라와 상기 패턴 주사기의 가상 카메라 모델을 이용하되 광 삼각법의 원리를 적용하여 2π 모호성을 가지는 후보점들을 찾아낸 후, 상기 후보점들을 다른 제2 카메라로 주사하고 스테레오 정합 알고리즘을 적용하여 대응점을 구하고, 스테레오 카메라에 적용하는 구속조건을 이용하여 2π 모호성이 제거된 최종 대응점을 확증하여 3차원 형상을 측정하며,
    상기 구속조건은, 공액선(epipolar line) 상에서 우측 영상에 대응하는 좌측 영상의 대응점은 반드시 우측 영상의 대응점보다 우측에 있어야 하고, 대응점들끼리는 순서가 뒤바뀌지 않아야 하며, 한쪽의 대응점은 항상 순서대로 진행되어야 하지만 반대쪽의 대응점은 몇 포인트를 건너뛸 수 있다는 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치.
  4. 청구항 3에 있어서,
    상기 패턴 주사기는 위치와 주사 각도가 이미 측정(calibration)되어진 다양한 모양의 패턴을 주사할 수 있는 아날로그 패턴 주사기인 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치.
  5. 청구항 3에 있어서,
    상기 패턴 주사기는 위치와 주사 각도가 이미 측정(calibration)되어진 다양한 모양의 패턴을 주사할 수 있는 디지털 패턴 주사기인 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치.
  6. 청구항 3 내지 청구항 5 중 어느 한 항에 있어서,
    상기 제1, 제2 카메라는 그 외부 및 내부 파라미터가 동일한 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치.
  7. 청구항 3 내지 청구항 5 중 어느 한 항에 있어서,
    상기 제1, 제2 카메라는 그 외부 및 내부 파라미터가 다른 것을 특징으로 하는 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상 측정장치.
KR1020070040406A 2007-04-25 2007-04-25 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법 KR100878753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070040406A KR100878753B1 (ko) 2007-04-25 2007-04-25 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070040406A KR100878753B1 (ko) 2007-04-25 2007-04-25 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080095640A KR20080095640A (ko) 2008-10-29
KR100878753B1 true KR100878753B1 (ko) 2009-01-14

Family

ID=40155262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070040406A KR100878753B1 (ko) 2007-04-25 2007-04-25 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법

Country Status (1)

Country Link
KR (1) KR100878753B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245148B1 (ko) 2011-03-10 2013-03-19 주식회사 미르기술 영상 선명도가 개선된 비전검사장치
KR101340336B1 (ko) * 2010-04-29 2013-12-13 주식회사 미르기술 비전검사장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
KR101160804B1 (ko) * 2011-07-27 2012-06-28 경북대학교 산학협력단 광학식 표면 형상 측정 방법
KR101886212B1 (ko) * 2011-07-29 2018-08-08 재단법인 포항산업과학연구원 판쏠림 및 판폭 동시 계측 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101340336B1 (ko) * 2010-04-29 2013-12-13 주식회사 미르기술 비전검사장치
KR101245148B1 (ko) 2011-03-10 2013-03-19 주식회사 미르기술 영상 선명도가 개선된 비전검사장치

Also Published As

Publication number Publication date
KR20080095640A (ko) 2008-10-29

Similar Documents

Publication Publication Date Title
KR100708352B1 (ko) 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법
KR102086940B1 (ko) 3차원 비접촉 스캐닝 시스템의 현장 교정
KR100919166B1 (ko) 스테레오 모아레를 이용한 3차원 형상 측정장치 및 그 방법
EP3619498B1 (en) Triangulation scanner having flat geometry and projecting uncoded spots
KR102236297B1 (ko) 치과용 카메라를 교정하기 위한 교정 장치 및 방법
KR100878753B1 (ko) 가상 카메라 모델과 두 대의 카메라를 이용한 3차원 형상측정장치 및 방법
CN108759669B (zh) 一种室内自定位三维扫描方法及系统
JP4290733B2 (ja) ３次元形状計測方法及びその装置
EP2183546B1 (en) Non-contact probe
Eiríksson et al. Precision and accuracy parameters in structured light 3-D scanning
US20090067706A1 (en) System and Method for Multiframe Surface Measurement of the Shape of Objects
US20130127998A1 (en) Measurement apparatus, information processing apparatus, information processing method, and storage medium
US20130293700A1 (en) Method and apparatus of measuring depth of object by structured light
JP2005098985A (ja) 計測装置、コンピュータ数値制御装置及びプログラム
JP2010281621A (ja) 三次元形状計測装置
JP7353757B2 (ja) アーチファクトを測定するための方法
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US7046839B1 (en) Techniques for photogrammetric systems
JP4382430B2 (ja) 頭部の三次元形状計測システム
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法
JP5786999B2 (ja) 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法
KR20040071531A (ko) 3차원형상 측정장치 및 방법
Li et al. A prototype system for high precision 3D measurement based on grating method
Lee et al. A new 3d sensor system for mobile robots based on moire and stereo vision technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130102

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee