KR101809529B1 - 3차원 캘리브레이션 시스템 및 그 방법 - Google Patents

3차원 캘리브레이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR101809529B1
KR101809529B1 KR1020160047947A KR20160047947A KR101809529B1 KR 101809529 B1 KR101809529 B1 KR 101809529B1 KR 1020160047947 A KR1020160047947 A KR 1020160047947A KR 20160047947 A KR20160047947 A KR 20160047947A KR 101809529 B1 KR101809529 B1 KR 101809529B1
Authority
KR
South Korea
Prior art keywords
dimensional
calibration
image
reference object
dimensional image
Prior art date
Application number
KR1020160047947A
Other languages
English (en)
Other versions
KR20170119820A (ko
Inventor
이동현
김유성
김보현
연승근
Original Assignee
이동현
주식회사 유니아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이동현, 주식회사 유니아이 filed Critical 이동현
Priority to KR1020160047947A priority Critical patent/KR101809529B1/ko
Publication of KR20170119820A publication Critical patent/KR20170119820A/ko
Application granted granted Critical
Publication of KR101809529B1 publication Critical patent/KR101809529B1/ko

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 2차원 카메라를 이용하여 촬영된 기준 물체상의 캘리브레이션 마커를 이용하여 캘리브레이션 정보를 획득하고, 3차원 영상에서의 기준 물체에 대한 공통모서리가 2차원 영상에서의 기준 물체에 대한 공통모서리와 일치하도록 3차원 영상에 대한 좌표 변환 관계식을 생성함으로써, 이를 이용하여 3차원 영상에 대하여 보다 정확한 캘리브레이션을 수행할 수 있도록 해 주는 3차원 캘리브레이션 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 3차원 캘리브레이션 시스템 및 그 방법은 적어도 하나 이상의 평면을 갖는 입체 형상의 기준 물체와, 상기 기준 물체의 평면상에 배치되면서 동일 패턴이 반복되는 형태의 이미지로 이루어지는 캘리브레이션 마커, 상기 캘리브레이션 마커가 배치된 기준 물체의 중앙 상측에 배치되면서 캘리브레이션 마커가 배치된 기준 물체의 평면에 대한 2차원 영상을 획득하기 위한 2차원 카메라, 상기 캘리브레이션 마커가 배치된 기준 물체의 상측에 경사 배치되어, 기준 물체에 대한 3차원 영상을 획득하기 위한 적어도 하나 이상의 3차원 카메라, 상기 2차원 카메라로부터 제공되는 2차원 영상에서 캘리브레이션 마커 이미지를 근거로 캘리브레이션 처리를 수행하여 화소당 기준거리를 산출하고, 상기 2차원 카메라로부터 제공되는 2차원 영상과 3차원 영상에서 기준 물체에 대한 공통모서리를 추출하며, 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하여 3차원 영상에 대한 캘리브레이션 처리를 수행하는 캘리브레이션 장치를 포함하여 구성되는 것을 특징으로 한다.

Description

3차원 캘리브레이션 시스템 및 그 방법{The system and method of 3D calibration}
본 발명은 2차원 카메라를 이용하여 촬영된 기준 물체상의 캘리브레이션 마커를 이용하여 기준이 되는 캘리브레이션 정보를 획득하고, 3차원 영상에서의 기준 물체에 대한 공통모서리가 2차원 영상에서의 기준 물체에 대한 공통모서리와 일치하도록 3차원 영상에 대한 좌표 변환 관계식을 생성함으로써, 이를 이용하여 3차원 영상에 대하여 보다 정확한 캘리브레이션을 수행할 수 있도록 해 주는 3차원 캘리브레이션 시스템 및 그 방법에 관한 것이다.
일반적으로 3차원 형상을 가진 스캔 대상물체에 대한 3차원 데이터를 획득하는 방법은 기계적인 메카니즘을 이용하여 3차원 좌표점을 접촉식으로 디지타이징(digitizing)하는 방법이 있으나, 일반적으로는 피사체에 레이저를 주사하여 3차원 이미지를 획득하는 광학식 방법인 광삼각법이 잘 알려져 있다.
삭제
상기한 광삼각법을 이용한 3차원 스캐너는, 일반적으로 피사체에 쉬트빔 형태의 레이저 라인을 주사(조사)하고, 이를 일정각을 유지하며 고속영상카메라로 촬영하는 센서헤드와, 상기 센서 헤드로부터 카메라의 영상을 입력받아 영상해석을 통하여 3차원 데이터를 생성하는 이미지 처리부를 구비한다.
이때, 3차원 공간에 존재하는 물체를 2차원 카메라로 촬영하면 거리정보가 사라지기 때문에, 형태 파악 및 길이 측정과 같은 정밀한 데이터 추출에 사용하기 어렵다. 이에, 3차원 스캐너에는 거리 정보를 포함하는 3차원 영상을 제공하는 3차원 카메라가 구비된다.
즉, 3차원 카메라가 촬영한 정보는 점의 집합으로 표현되고, 상기 3차원 스캐너는 3차원 카메라의 위치와 촬영 방향을 고려하여 촬영 영상을 좌표변환함으로써, 대상 물체에 대한 3차원 모델을 얻게 된다.
그러나, 대부분의 경우 3차원 카메라가 구비되는 3차원 스캐너 장착에 따른 오차 및 3차원 카메라 자체의 오프셋 값 등에 의한 오차 등이 발생하게 된다.
이에, 3차원 스캐너에서 대상 물체에 대한 3차원 이미지를 획득하기 이전에 3D 카메라에 대한 정렬오차를 미리 산출하고, 이를 근거로 3차원 이미지에 오차에 대응되는 보정값을 적용하는 캘리브레이션 과정을 수행함으로써, 보다 정확한 3차원 이미지를 얻는 방법이 필수적으로 요구된다.
특히, 3차원 공간상에 존재하는 물체를 촬영하면, 촬영 방향의 반대 방향은 물체에 가려 촬영이 불가능하게 되므로, 여러 개의 카메라를 서로 다른 위치에 배치하여 물체의 각 방향을 촬영함으로써 사각지대를 없애고 물체의 전체 형태를 얻을 수 있게 된다.
이 경우 여러 개의 3차원 카메라에서 촬영된 영상을 결합하여 정확한 대상 물체 모델을 획득하기 위해서는 각각의 3차원 카메라에서 촬영된 정보를 결합하기 전에, 각각의 카메라에서 캘리브레이션이 필수적으로 수행되어야 함은 물론이다.
1. 한국공개특허 제2012-0102987호 (발명의 명칭 : 삼차원 측정기용 캘리브레이션 장치, 캘리브레이션 시스템 및 켈리브레이션 방법)
1. 전자공학회논문지-CI, Vol.41, No.2, pp.137-148,2004 (파노라믹 3D 가상 환경 생성을 위한 다수의 카메라 캘리브레이션)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 2차원 카메라를 이용하여 촬영된 기준 물체상의 캘리브레이션 마커를 이용하여 기준이 되는 캘리브레이션 정보를 획득하고, 3차원 영상에서의 기준 물체에 대한 공통모서리가 2차원 영상에서의 기준 물체에 대한 공통모서리와 일치하도록 3차원 영상에 대한 좌표 변환 관계식을 생성함으로써, 이를 이용하여 3차원 영상에 대해 보다 정확한 캘리브레이션처리를 수행할 수 있도록 해 주는 3차원 캘리브레이션 시스템 및 그 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 적어도 하나 이상의 평면을 갖는 입체 형상의 기준 물체와, 상기 기준 물체의 평면상에 배치되면서 동일 패턴이 반복되는 형태의 이미지로 이루어지는 캘리브레이션 마커, 상기 캘리브레이션 마커가 배치된 기준 물체의 중앙 상측에 배치되면서 캘리브레이션 마커가 배치된 기준 물체의 평면에 대한 2차원 영상을 획득하기 위한 2차원 카메라, 상기 캘리브레이션 마커가 배치된 기준 물체의 상측에 경사 배치되어, 기준 물체에 대하여 도트 클라우드 형태로 표현되는 3차원 영상을 획득하되, 그 촬영 영상이 상기 2차원 영상의 기준 물체 평면을 포함하도록 위치 설정되는 적어도 하나 이상의 3차원 카메라, 상기 2차원 카메라로부터 제공되는 2차원 영상에서 캘리브레이션 마커 이미지를 근거로 해당 영상에 대한 캘리브레이션 처리를 수행함과 더불어 캘리브레이션 마커 이미지를 근거로 화소당 기준거리값을 산출하고, 해당 평면에 대한 2차원 모서리를 추출하는 2차원 영상 분석부와, 상기 3차원 카메라로부터 제공되는 3차원 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 3차원 모서리를 추출하는 3차원 영상 분석부, 상기 3차원 영상분석부로부터 제공되는 3차원 모서리와 상기 2차원 영상분석부로부터 제공되는 2차원 모서리가 접하는 공통 모서리를 추출하는 공통모서리 추출부 및, 상기 2차원 영상분석부로부터 제공되는 화소당 기준 거리값을 근거로 상기 공통모서리 추출부로부터 제공되는 3차원 영상의 공통 모서리가 2차원 영상의 공통 모서리와 길이와 방향이 같아지도록 좌표 변환 관계식을 생성하고, 이를 근거로 3차원 영상에 대한 좌표 변환을 수행함으로써, 3차원 영상에 대한 캘리브레이션 처리를 수행하는 좌표변환부를 포함하여 구성되는 캘리브레이션 장치를 포함하여 구성되는 것을 특징으로 하는 3차원 캘리브레이션 시스템이 제공된다.
또한, 상기 기준 물체는 직육면체 형상으로 이루어지는 것을 특징으로 하는 3차원 캘리브레이션 시스템이 제공된다.
또한, 상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 변환행렬로 설정되는 것을 특징으로 하는 3차원 캘리브레이션 시스템.
Figure 112016037768721-pat00001
여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
또한, 상기 캘리브레이션 장치는 다수의 3차원 카메라 중 임의 하나의 기준 3차원 카메라에 대해 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 타 3차원 카메라에 대해서는 좌표 변환 관계식 및 기준 3차원 카메라와의 좌표축 변환을 통해 캘리브레이션 처리를 수행하도록 구성되는 것을 특징으로 하는 3차원 캘리브레이션 시스템이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 입체 형상의 기준 물체의 평면상에 동일 패턴이 반복되는 형태의 이미지로 이루어지는 캘리브레이션 마커가 배치되고, 기준 물체에 대한 촬영영상을 이용하여 3차원 영상에 대한 캘리브레이션을 수행하는 3차원 캘리브레이션 방법에 있어서, 2차원 카메라에서 상기 기준 물체의 캘리브레이션 마커가 배치된 평면을 촬영하여 2차원 영상을 획득하는 제1 단계와, 3차원 카메라에서 상기 캘리브레이션 마커가 배치된 평면을 포함하도록 기준 물체의 상측에서 기준 물체를 촬영하여 3차원 도트 클라우드 형태로 표현되는 3차원 영상을 획득하는 제2 단계, 캘리브레이션 장치에서 상기 2차원 카메라로부터 제공되는 2차원 영상을 캘리브레이션 처리함과 더불어, 캘리브레이션 마커 이미지를 근거로 화소당 기준 거리를 산출하는 제3 단계, 캘리브레이션 장치에서 상기 2차원 카메라로부터 제공되는 2차원 영상에서 평면에 대한 2차원 모서리를 추출하고, 3차원 카메라로부터 제공되는 3차원 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 3차원 모서리를 추출함과 더불어, 각 영상에 대해 3차원 모서리와 2차원 모서리가 접하는 모서리를 공통 모서리로 추출하는 제4 단계, 캘리브레이션 장치에서 2차원 영상의 화소당 기준 거리값을 근거로 3차원 영상의 공통 모서리가 2차원 영상의 공통 모서리와 길이와 방향이 같아지도록 좌표 변환 관계식을 생성하는 제5 단계 및, 캘리브레이션 장치에서 상기 좌표 변환 관계식을 이용하여 3차원 영상에 대한 캘리브레이션을 수행하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 3차원 캘리브레이션 방법이 제공된다.
또한, 상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 변환행렬로 설정되는 것을 특징으로 하는 3차원 캘리브레이션 방법.
Figure 112016037768721-pat00002
여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
또한, 다수의 3차원 카메라를 통해 획득된 다수의 3차원 영상에 대해서는 다수의 3차원 카메라 중 임의 하나의 기준 3차원 카메라에 대해 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 상기 제6 단계에서 캘리브레이션 장치는 기준 3차원 카메라를 제외한 타 3차원 카메라에 대해서는 좌표 변환 관계식 및 기준 3차원 카메라와의 좌표축 변환을 통해 캘리브레이션 처리를 수행하는 것을 특징으로 하는 3차원 캘리브레이션 방법이 제공된다.
본 발명에 의하면 2차원 카메라로부터 획득한 2차원 영상을 이용하여 3차원 영상에 대해 보다 정확한 캘리브레이션처리를 수행할 수 있게 됨으로써, 3차원 영상을 통한 대상 물체에 대한 정확한 치수 측정 및 형태 파악이 가능하게 된다.
도1은 본 발명의 제1 실시예에 따른 3차원 캘리브레이션 시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 캘리브레이션 장치(500)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 2차원 영상분석부(510)에서의 기준 물체(100)에 대해 추출된 모서리를 예시한 도면.
도4는 도2에 도시된 3차원 영상분석부(520)에서의 기준 물체(100)에 대해 추출된 모서리를 예시한 도면.
도5는 도2에 도시된 3차원 영상분석부(520)에서의 모서리 추출방법을 설명하기 위한 도면.
도6은 도2에 도시된 좌표 변환부(540)에서의 변환행렬 생성방법을 설명하기 위한 도면.
도7은 도1에 도시된 3차원 캘리브레이션 시스템에서의 3차원 캘리브레이션 방법을 설명하기 위한 흐름도.
도8은 본 발명의 제2 실시예에 따른 3차원 캘리브레이션 시스템의 개략적인 구성을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도1은 본 발명의 제1 실시예에 따른 3차원 캘리브레이션 시스템의 개략적인 구성을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명에 따른 3차원 캘리브레이션 시스템은 캘리브레이션용 기준 물체(100)와, 캘리브레이션 마커(200), 2차원 카메라(300), 3차원 카메라(400) 및 캘리브레이션 장치(500)를 포함하여 구성된다.
상기 기준 물체(100)는 본 발명에 따른 3차원 캘리브레이션을 위한 특정 물체로서, 기본적으로 적어도 하나의 평면을 갖는 각종 입체 형상, 예컨대 직육면체 형상의 물체가 될 수 있다.
상기 캘리브레이션 마커(200)는 상기 기준 물체(100)의 일면, 보다 상세하게는 평면상에 배치되면서, 격자패턴 등과 같이 동일 패턴이 반복되는 형태의 이미지로 구성될 수 있다. 이때, 캘리브레이션 마커(200)는 별개의 객체로서, 기준 물체(100)의 일면에 부착되거나, 또는 기준 물체(100)상에 패턴 이미지가 일체로 형성될 수 있다.
상기 2차원 카메라(300)는 상기 기준 물체(100)와 일정 거리 이격되어 배치되어, 캘리브레이션 마커(200)를 포함하는 기준 물체(100)에 대한 2차원 영상을 획득한다. 이때, 상기 2차원 카메라(300)는 CCD 카메라 등이 될 수 있으며, 캘리브레이션 마커를 이용하여 거리정보를 산출하기 위해 좌우 카메라가 일정 거리 이격 배치되는 스테레오 카메라 형태로 구성될 수 있다. 또한, 상기 2차원 카메라(300)는 도1에 도시된 바와 같이 캘리브레이션 마커(200)가 배치된 기준 물체(100)의 상측, 즉, 평면도 방향에 배치되는 것이 바람직하다.
상기 3차원 카메라(400)는 카메라와 물체사이의 거리를 측정하는 것으로, 본 카메라(400)와 캘리브레이션 마커를 포함하는 기준 물체(100)간의 거리를 측정한다. 이때, 상기 3차원 카메라(400)는 레이저 스캐너나 FMCW 레이더( Frequency Modulated Continuous Wave) 또는 TOF 카메라 등이 될 수 있다. 이때, 상기 3차원 카메라(400)는 도1에 도시된 바와 같이 기준 물체(100)에 대해 경사 방향을 갖는 상측, 즉 사시도 방향에 배치되는 것이 바람직하다.
상기 캘리브레이션 장치(500)는 상기 2차원 카메라(300)와 3차원 카메라(400)로부터 제공되는 각각의 기준 물체(100)에 대한 촬영영상을 이용하여 3차원 카메라(400)에 대한 캘리브레이션 처리를 수행한다. 여기서, 상기 캘리브레이션 장치(500)는 3차원 스캐너 등을 포함하는 각종 형태의 3차원 형상 및 수치 측정장치가 될 수 있다.
도2는 도1에 도시된 캘리브레이션 장치(500)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2에 도시된 바와 같이 캘리브레이션 장치(500)는 2차원 영상 분석부(510)와, 3차원 영상 분석부(520), 공통모서리 추출부(530) 및 좌표변환부(540)를 포함하여 구성된다.
상기 2차원 영상분석부(510)는 상기 2차원 카메라(300)로부터 제공되는 기준 물체(100)에 대한 2차원 영상을 분석한다. 이때, 2차원 카메라(300)로부터 제공되는 영상은 도3에 도시된 바와 같이 캘리브레이션 마커의 패턴정보의 표현이 가능한 2D 이미지 정보이다. 상기 2차원 영상분석부(510)는 2차원 영상에서 캘리브레이션 마커 영역을 근거로 캘리브레이션 처리를 수행하여 화소당 거리를 추정함과 더불어, 기준 물체(100)의 모서리를 추출한다. 도3에 도시된 바와 같이 직육면체 형상의 기준 물체(100)에 대응되는 2차원 영상에서는 제1 내지 제4 2차원 모서리(L21,L22,L23,L24)가 각각 추출된다.
상기 3차원 영상분석부(520)는 상기 3차원 카메라(300)로부터 제공되는 기준 물체(100)에 대한 3차원 영상을 분석하여 기준 물체(100)의 모서리를 추출한다. 3차원 카메라(400)로부터 제공되는 영상은 도4에 도시된 바와 같이 3차원 도트 클라우드 형태로 표현된다. 이때, 상기 3차원 영상분석부(520)는 도트 클라우드가 이루는 면의 경계를 추출함으로써, 모서리를 추출한다. 즉, 3차원 영상분석부(520)는 도5에 도시된 바와 같이 도트 클라우드가 이루는 각 면(P1,P2)이 마주하는 선(L)을 모서리로 추출한다. 예컨대, 도4에 도시된 바와 같이, 직육면체 형상의 기준 물체(100)에 대한 사시도 측면에서의 3차원 영상에서는 제1 내지 제9 3차원 모서리 (L31, L32, L33, L34, L35, L36, L37, L38, L39)가 각각 추출된다.
상기 공통모서리 추출부(530)는 상기 2차원 영상분석부(510)로부터 제공되는 2차원 모서리정보와, 상기 3차원 영상분석부(520)로부터 제공되는 3차원 모서리 정보를 비교하여 공통모서리를 추출한다. 예컨대, 상기 공통모서리 추출부(530)는 상기 3차원 모서리 중 2차원 모서리와 접하는 모서리를 공통모서리로 추출한다. 예컨대, 도4에서 도3와 매칭되는 공통모서리는 제1 내지 제4 3차원 모서리( L31, L32, L33, L34)가 된다.
상기 좌표 변환부(540)는 상기 공통모서리 추출부(530)에서 추출된 공통모서리 길이를 이용하여 상기 2차원 영상에서 추출된 화소당 기준거리값을 근거로 변환행렬을 생성한다. 즉, 상기 좌표 변환부(540)는 2차원 영상에서의 공통모서리(이하, "2차원 공통모서리"라 칭함)에 대한 화소당 기준거리값과 3차원 영상에서의 공통모서리(이하, "3차원 공통모서리" 라 칭함)에 대한 화소당 거리값을 산출함과 더불어, 3차원 공통모서리의 화소당 거리값을 2차원 공통모서리의 화소당 기준 거리값으로 변환하기 위한 변환행렬을 생성한다. 여기서, 상기 변환행렬은 2차원 공통모서리의 화소당 거리값 및 위치값에 대한 3차원 공통모서리의 화소당 거리값 및 위치값에 대한 오차를 보정하기 위한 관계식으로, 회전변환과 이동변환 및 크기변환 성분을 포함할 수 있다.
또한, 상기 좌표변환부(540)는 각 3차원 카메라(400)에 대응하여 생성된 변환행렬을 이용하여 해당 3차원 카메라(400)를 통해 촬영된 영상에 대한 좌표변환을 수행함으로써, 3차원 캘리브레이션을 수행하도록 구성된다.
한편, 상기 좌표 변환부(540)는 하기와 같은 방법을 통해 변환행렬을 생성할 수 있다. 도6에 도시된 바와 같이 제2 라인(
Figure 112016037768721-pat00003
)을 제1 라인(
Figure 112016037768721-pat00004
)과 겹쳐지게 하기 위해서는 제2 라인(
Figure 112016037768721-pat00005
)에 대한 회전변환과, 천이변환 및, 크기변환이 행해져야 한다.
이때, 도6에 도시된 제2 라인(
Figure 112016037768721-pat00006
)을 제1 라인(
Figure 112016037768721-pat00007
)과 일치시키기 위한 회전 행렬은 수학식 1과 같이 표현될 수 있다.
Figure 112016037768721-pat00008
여기서, θ는 회전각도이고, r은 회전중심 좌표이며, Rot 는 회전행렬이다.
또한, 도6에 도시된 제2 라인(
Figure 112016037768721-pat00009
)을 제1 라인(
Figure 112016037768721-pat00010
)과 일치시키기 위한 천이 행렬은 수학식 2와 같이 표현될 수 있다.
여기서, t 는 위상 변화량이고, Trans 는 천이 행렬이다.
또한, 도6에 도시된 제2 라인(
Figure 112016037768721-pat00012
)을 제1 라인(
Figure 112016037768721-pat00013
)과 일치시키기 위한 크기 행렬은 수학식 3과 같이 표현될 수 있다.
Figure 112016037768721-pat00014
여기서, s는 크기 변화량이고, Scale 는 크기 행렬이다.
따라서, 상기 좌표 변환부(540)는 상기한 수학식1 내지 수학식3을 이용하여 수학식4와 같이 제2 라인(
Figure 112016037768721-pat00015
)을 제1 라인(
Figure 112016037768721-pat00016
)과 일치시키기 위한 최종 변환행렬을 생성할 수 있다.
Figure 112016037768721-pat00017
즉, 변환행렬은 수학식4와 같이 회전변환 성분(Rot11 ~ Rot33)과, 천이변환 성분(tx,ty,tz) 및, 크기변환 성분(s)을 모두 포함하는 4×4 행렬로 나타낼 수 있다.
이어, 상기한 구성으로 된 3차원 캘리브레이션 시스템에서의 3차원 캘리브레이션 방법을 도7에 도시된 흐름도를 참조하여 설명한다.
먼저, 도1에 도시된 바와 같이, 2차원 카메라(300)는 캘리브레이션 마커(200)가 배치된 기준 물체(100)과 수직하는 상측에 배치되고, 3차원 카메라(400)는 기준 물체(100)와 경사형성되는 상측에 각각 배치된다.
상기한 상태에서, 캘리브레이션 장치(500)는 2차원 카메라(300) 및 3차원 카메라(400)를 통해 캘리브레이션 마커(200)가 배치된 기준 물체(100)를 촬영하여 기준 물체(100)에 대한 2차원 영상과 3차원 영상을 각각 획득한다(ST10).
상기 캘리브레이션 장치(500)는 2차원 영상에서 캘리브레이션 마커(200)를 분석하여 화소당 거리, 즉 화소당 기준 거리값을 산출한다(ST20). 이때, 2차원 영상에서 격자 패턴의 캘리브레이션 마커(200)를 분석하여 화소당 거리를 산출하는 캘리브레이션 방법은 공지의 기술이므로 그 상세한 설명은 생략한다.
이어, 상기 캘리브레이션 장치(500)는 상기 2차원 영상과 3차원 영상에서 기준 물체(100)에 대한 모서리를 각각 추출한다(ST30). 예컨대, 도3에 도시된 바와 같은 2차원 영상에서 제1 내지 제4 2차원 모서리(L21~L24)를 추출함과 더불어, 도4에 도시된 바와 같이 도트 클라우드 형태의 3차원 영상에서 제1 내지 제9 3차원 모서리(L31~L39)를 각각 추출한다.
또한, 상기 캘리브레이션 장치(500)는 상기 ST30 단계에서 추출된 2차원 모서리와 3차원 모서리를 비교하여 공통모서리를 추출한다 (ST40). 이때, 공통모서리는 2차원 영상에서의 2차원 공통모서리와 3차원 영상에서의 3차원 공통모서리로 각각 추출될 수 있다.
이어, 상기 캘리브레이션 장치(500)는 공통모서리에 대해 2차원 영상에서의 길이와 방향이 같아지도록 3차원 영상에서의 공통모서리를 좌표 변환하기 위한 좌표 변환 관계식 예컨대, 변환행렬을 생성한다(ST50). 이때, 변환행렬은 2차원 영상에서 생성된 화소당 기준거리를 근거로 3차원 영상에 대한 오차값을 보정하기 위한 관계식이 된다. 즉, 상기 캘리브레이션 장치(500)는 3차원 영상에서의 3차원 공통모서리가 2차원 공통모서리의 방향과 일치하도록 하기 위한 위치변환 관계식을 생성함과 더불어, 상기 3차원 공통모서리가 2차원 공통모서리의 길이와 일치하도록 하기 위한 길이변환 관계식을 생성하여 이들 위치변환 관계식과 길이변환 관계식을 이용하여 최종적으로 좌표 변환 관계식인 변환행렬을 생성한다.
이후, 상기 캘리브레이션 장치(500)는 3차원 카메라(400)를 통해 촬영된 3차원 영상을 상기 ST50 단계에서 생성된 변환행렬을 통해 좌표변환함으로써, 3차원 영상에 대한 캘리브레이션을 수행하게 된다(ST60).
한편, 상기 실시예에 있어서는 하나의 3차원 카메라(400)에 대한 3차원 캘리브레이션 처리를 수행하도록 실시하였으나, 도8에 도시된 바와 같이 다수, 예컨데 제1 내지 제4 3차원 카메라(410,420,430,440)가 배치되는 경우 각 3차원 카메라(410,420,430,440)에서 2차원 영상과의 공통모서리를 기준으로 하는 각각의 변환행렬을 생성하고, 해당 변환행렬을 이용하여 각각 3차원 캘리브레이션 처리를 수행하도록 구성될 수 있다. 이때, 상기 서로 다른 위치에 배치된 각각의 3차원 카메라(410,420,430,440)에 대한 변환행렬은 모두 하나의 2차원 카메라(300)의 캘리브레이션 값을 기준으로 생성된 것으로, 이후 각 3차원 카메라(410,420,430,440)에 의해 촬영된 3차원 영상을 결합하여 하나의 대상 물체에 대한 입체 형상을 측정하는 경우, 보다 용이하게 정밀한 측정이 가능하게 된다.
또한, 도8과 같은 3차원 캘리브레이션 시스템에 있어서는 상기 캘리브레이션 장치에서 다수의 3차원 카메라 중 임의 하나의 기준 3차원 카메라(410)에 대해 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 타 3차원 카메라(420,430,440)에 대해서는 좌표 변환 관계식 및 기준 3차원 카메라와의 좌표축 변환을 통해 캘리브레이션 처리를 수행하도록 구성되는 것도 가능하다.
100 : 기준 물체, 200 : 캘리브레이션 마커,
300 : 2차원 카메라, 400 : 3차원 카메라,
500 : 캘리브레이션 장치.

Claims (7)

  1. 적어도 하나 이상의 평면을 갖는 입체 형상의 기준 물체와,
    상기 기준 물체의 평면상에 배치되면서 동일 패턴이 반복되는 형태의 이미지로 이루어지는 캘리브레이션 마커,
    상기 캘리브레이션 마커가 배치된 기준 물체의 중앙 상측에 배치되면서 캘리브레이션 마커가 배치된 기준 물체의 평면에 대한 2차원 영상을 획득하기 위한 2차원 카메라,
    상기 캘리브레이션 마커가 배치된 기준 물체의 상측에 경사 배치되어, 기준 물체에 대하여 도트 클라우드 형태로 표현되는 3차원 영상을 획득하되, 그 촬영 영상이 상기 2차원 영상의 기준 물체 평면을 포함하도록 위치 설정되는 적어도 하나 이상의 3차원 카메라,
    상기 2차원 카메라로부터 제공되는 2차원 영상에서 캘리브레이션 마커 이미지를 근거로 해당 영상에 대한 캘리브레이션 처리를 수행함과 더불어 캘리브레이션 마커 이미지를 근거로 화소당 기준거리값을 산출하고, 해당 평면에 대한 2차원 모서리를 추출하는 2차원 영상 분석부와, 상기 3차원 카메라로부터 제공되는 3차원 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 3차원 모서리를 추출하는 3차원 영상 분석부, 상기 3차원 영상분석부로부터 제공되는 3차원 모서리와 상기 2차원 영상분석부로부터 제공되는 2차원 모서리가 접하는 공통 모서리를 추출하는 공통모서리 추출부 및, 상기 2차원 영상분석부로부터 제공되는 화소당 기준 거리값을 근거로 상기 공통모서리 추출부로부터 제공되는 3차원 영상의 공통 모서리가 2차원 영상의 공통 모서리와 길이와 방향이 같아지도록 좌표 변환 관계식을 생성하고, 이를 근거로 3차원 영상에 대한 좌표 변환을 수행함으로써, 3차원 영상에 대한 캘리브레이션 처리를 수행하는 좌표변환부를 포함하여 구성되는 캘리브레이션 장치를 포함하여 구성되는 것을 특징으로 하는 3차원 캘리브레이션 시스템.
  2. 제1항에 있어서,
    상기 기준 물체는 직육면체 형상으로 이루어지는 것을 특징으로 하는 3차원 캘리브레이션 시스템.
  3. 제1항에 있어서,
    상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 변환행렬로 설정되는 것을 특징으로 하는 3차원 캘리브레이션 시스템.
    Figure 112016037768721-pat00018

    여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
  4. 제1항에 있어서,
    상기 캘리브레이션 장치는 다수의 3차원 카메라 중 임의 하나의 기준 3차원 카메라에 대해 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 타 3차원 카메라에 대해서는 좌표 변환 관계식 및 기준 3차원 카메라와의 좌표축 변환을 통해 캘리브레이션 처리를 수행하도록 구성되는 것을 특징으로 하는 3차원 캘리브레이션 시스템.
  5. 입체 형상의 기준 물체의 평면상에 동일 패턴이 반복되는 형태의 이미지로 이루어지는 캘리브레이션 마커가 배치되고, 기준 물체에 대한 촬영영상을 이용하여 3차원 영상에 대한 캘리브레이션을 수행하는 3차원 캘리브레이션 방법에 있어서,
    2차원 카메라에서 상기 기준 물체의 캘리브레이션 마커가 배치된 평면을 촬영하여 2차원 영상을 획득하는 제1 단계와,
    3차원 카메라에서 상기 캘리브레이션 마커가 배치된 평면을 포함하도록 기준 물체의 상측에서 기준 물체를 촬영하여 3차원 도트 클라우드 형태로 표현되는 3차원 영상을 획득하는 제2 단계,
    캘리브레이션 장치에서 상기 2차원 카메라로부터 제공되는 2차원 영상을 캘리브레이션 처리함과 더불어, 캘리브레이션 마커 이미지를 근거로 화소당 기준 거리를 산출하는 제3 단계,
    캘리브레이션 장치에서 상기 2차원 카메라로부터 제공되는 2차원 영상에서 평면에 대한 2차원 모서리를 추출하고, 3차원 카메라로부터 제공되는 3차원 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 3차원 모서리를 추출함과 더불어, 각 영상에 대해 3차원 모서리와 2차원 모서리가 접하는 모서리를 공통 모서리로 추출하는 제4 단계,
    캘리브레이션 장치에서 2차원 영상의 화소당 기준 거리값을 근거로 3차원 영상의 공통 모서리가 2차원 영상의 공통 모서리와 길이와 방향이 같아지도록 좌표 변환 관계식을 생성하는 제5 단계 및,
    캘리브레이션 장치에서 상기 좌표 변환 관계식을 이용하여 3차원 영상에 대한 캘리브레이션을 수행하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 3차원 캘리브레이션 방법.
  6. 제5항에 있어서,
    상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 변환행렬로 설정되는 것을 특징으로 하는 3차원 캘리브레이션 방법.
    Figure 112016037768721-pat00019

    여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
  7. 제5항에 있어서,
    다수의 3차원 카메라를 통해 획득된 다수의 3차원 영상에 대해서는 다수의 3차원 카메라 중 임의 하나의 기준 3차원 카메라에 대해 3차원 영상의 공통모서리가 2차원 영상의 공통모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고,
    상기 제6 단계에서 캘리브레이션 장치는 기준 3차원 카메라를 제외한 타 3차원 카메라에 대해서는 좌표 변환 관계식 및 기준 3차원 카메라와의 좌표축 변환을 통해 캘리브레이션 처리를 수행하는 것을 특징으로 하는 3차원 캘리브레이션 방법.
KR1020160047947A 2016-04-20 2016-04-20 3차원 캘리브레이션 시스템 및 그 방법 KR101809529B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160047947A KR101809529B1 (ko) 2016-04-20 2016-04-20 3차원 캘리브레이션 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160047947A KR101809529B1 (ko) 2016-04-20 2016-04-20 3차원 캘리브레이션 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170119820A KR20170119820A (ko) 2017-10-30
KR101809529B1 true KR101809529B1 (ko) 2017-12-22

Family

ID=60301289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160047947A KR101809529B1 (ko) 2016-04-20 2016-04-20 3차원 캘리브레이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101809529B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816703B (zh) * 2017-11-21 2021-10-01 西安交通大学 一种基于相机标定和icp算法的点云配准方法
KR102287524B1 (ko) * 2019-05-07 2021-08-09 (주)씨소 3d 레이저 스캐닝 데이터 및 360vr 이미지 데이터 기반의 현장관리 방법 및 시스템
KR102446944B1 (ko) * 2021-05-31 2022-09-22 한국로봇융합연구원 웨이퍼 위치오차 수집장치 및 수집방법
KR102660179B1 (ko) * 2021-12-22 2024-04-24 주식회사 휴비츠 광간섭 단층 촬영 장치 및 카메라의 캘리브레이션 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180756B1 (ko) * 2011-10-12 2012-09-10 (주) 한양지에스티 항공촬영화상의 보정 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180756B1 (ko) * 2011-10-12 2012-09-10 (주) 한양지에스티 항공촬영화상의 보정 장치

Also Published As

Publication number Publication date
KR20170119820A (ko) 2017-10-30

Similar Documents

Publication Publication Date Title
US11629955B2 (en) Dual-resolution 3D scanner and method of using
EP3232151B1 (en) Three-dimensional measurement system and measurement method for feature point based on plane of four-camera set array
CN111566437B (zh) 三维测量系统以及三维测量方法
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
Khoshelham Accuracy analysis of kinect depth data
Shah et al. A simple calibration procedure for fish-eye (high distortion) lens camera
KR101809529B1 (ko) 3차원 캘리브레이션 시스템 및 그 방법
EP2839238B1 (en) 3d scanner using merged partial images
CN113538589A (zh) 利用远心线扫描相机对对象进行高效3d重建的系统和方法
KR20240089161A (ko) 촬영 측정 방법, 장치, 기기 및 저장 매체
JP2004030461A (ja) エッジマッチング方法、エッジマッチングプログラム、エッジマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101809558B1 (ko) 3차원 모델 생성 시스템 및 그 방법
JP3862402B2 (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
CN112070844A (zh) 结构光系统的校准方法及装置、校准工具图、设备及介质
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
KR101801168B1 (ko) 3차원 정렬 오차 측정용 입체형 캘리브레이터와, 이를 이용한 3차원 정렬 오차 산출 방법
KR101405317B1 (ko) 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법
KR100379948B1 (ko) 3차원 형상 측정방법
Hui et al. Surface measurement based on instantaneous random illumination
JPH09229648A (ja) 画像情報入出力装置及び画像情報入出力方法
JP2005292027A (ja) 三次元形状計測・復元処理装置および方法
KR102045875B1 (ko) 리얼센스를 이용한 목표물 3d 모델링방법
JP2004030453A (ja) ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体
KR102518473B1 (ko) 프레임 카메라 영상 기반 포인트 클라우드 생성과 정제 방법 및 이를 위한 영상 처리 장치
JP2024092691A (ja) ３次元情報処理装置および３次元情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right