KR101809558B1 - 3차원 모델 생성 시스템 및 그 방법 - Google Patents

3차원 모델 생성 시스템 및 그 방법 Download PDF

Info

Publication number
KR101809558B1
KR101809558B1 KR1020160061806A KR20160061806A KR101809558B1 KR 101809558 B1 KR101809558 B1 KR 101809558B1 KR 1020160061806 A KR1020160061806 A KR 1020160061806A KR 20160061806 A KR20160061806 A KR 20160061806A KR 101809558 B1 KR101809558 B1 KR 101809558B1
Authority
KR
South Korea
Prior art keywords
dimensional
image
reference image
camera
transformation
Prior art date
Application number
KR1020160061806A
Other languages
English (en)
Other versions
KR20170130896A (ko
Inventor
이동현
김유성
김보현
연승근
Original Assignee
이동현
주식회사 유니아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이동현, 주식회사 유니아이 filed Critical 이동현
Priority to KR1020160061806A priority Critical patent/KR101809558B1/ko
Publication of KR20170130896A publication Critical patent/KR20170130896A/ko
Application granted granted Critical
Publication of KR101809558B1 publication Critical patent/KR101809558B1/ko

Links

Images

Classifications

    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H04N13/0022—
    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 대상 물체 주변에 배치된 다수의 3차원 카메라를 통해 촬영된 3차원 촬영영상을 이용하여 해당 대상 물체에 대한 3차원 모델을 생성하되, 하나의 기준 영상을 근거로 타 측면 영상에 대한 오차를 보정하여 기준 영상과 보정된 타 측면 영상을 병합함으로써, 대상 물체에 대하여 보다 정확한 3차원 모델을 생성할 수 있도록 해 주는 3차원 모델 생성 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 3차원 모델 생성 시스템 및 이를 위한 3차원 영상의 병합 방법은 적어도 하나 이상의 평면을 갖는 입체 형상의 대상 물체와, 상기 대상 물체의 평면 상측에 수직하게 배치되어 대상 물체에 대한 3차원 기준 영상을 획득하기 위한 하나의 수직 카메라, 상기 대상 물체의 측면 상측에 배치되어 대상 물체에 대한 3차원 측면 영상을 획득하되, 그 촬영 영상이 상기 수직 카메라에 의해 촬영된 3차원 기준 영상에서 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 위치 설정되는 적어도 하나 이상의 측면 카메라, 상기 수직 카메라로부터 제공되는 3차원 기준 영상과 상기 측면 카메라로부터 제공되는 3차원 측면 영상에서 대상 물체에 대한 공통 모서리를 추출함과 더불어, 3차원 측면 영상의 공통 모서리가 3차원 기준 영상기준 영상서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 이를 근거로 3차원 측면 영상에 대한 좌표 변환을 통해 오차 보정 영상을 생성한 후, 3차원 기준 영상과 오차 보정된 3차원 측면 영상을 병합함으로써, 대상 물체에 대한 3차원 모델을 생성하는 모델 생성 장치를 포함하여 구성되는 것을 특징으로 한다.

Description

3차원 모델 생성 시스템 및 그 방법{System and method for 3D modeling}
본 발명은 대상 물체 주변에 배치된 다수의 3차원 카메라를 통해 촬영된 3차원 촬영영상을 이용하여 해당 대상 물체에 대한 3차원 모델을 생성하되, 하나의 기준 영상을 근거로 타 측면 영상에 대한 오차를 보정하여 기준 영상과 보정된 타 측면 영상을 병합함으로써, 대상 물체에 대하여 보다 정확한 3차원 모델을 생성할 수 있도록 해 주는 3차원 모델 생성 시스템 및 그 방법에 관한 것이다.
일반적으로 3차원 형상을 가진 스캔 대상물체에 대한 3차원 데이터를 획득하는 방법은 기계적인 메카니즘을 이용하여 3차원 좌표점을 접촉식으로 디지타이징(digitizing)하는 방법이 있으나, 일반적으로는 피사체에 레이저를
주사하여 3차원 이미지를 획득하는 광학식 방법인 광삼각법이 잘 알려져 있다.
상기한 광삼각법을 이용한 3차원 스캐너는, 일반적으로 피사체에 쉬트빔 형태의 레이저 라인을 주사(조사)하고, 이를 일정각을 유지하며 고속영상카메라로 촬영하는 센서헤드와, 상기 센서 헤드로부터 카메라의 영상을 입력받아 영상해석을 통하여 3차원 데이터를 생성하는 이미지 처리부를 구비한다.
이때, 3차원 공간에 존재하는 물체를 2차원 카메라로 촬영하면 거리정보가 사라지기 때문에, 형태 파악 및 길이 측정과 같은 정밀한 데이터 추출에 사용하기 어렵다. 이에, 3차원 스캐너에는 거리 정보를 포함하는 3차원 영상을 제공하는 3차원 카메라가 구비된다.
즉, 3차원 카메라가 촬영한 정보는 점의 집합으로 표현되고, 상기 3차원 스캐너는 3차원 카메라의 위치와 촬영 방향을 고려하여 촬영 영상을 좌표변환함으로써, 대상 물체에 대한 3차원 모델을 얻게 된다.
그러나, 하나의 3차원 카메라를 이용하여 3차원 공간상에 존재하는 물체를 촬영하게 되면, 도1에 도시된 바와 같이 3차원 카메라(1)의 촬영 반대 방향은 물체(2)에 가려져 촬영이 불가능하게 된다. 즉, 물체(2)의 하측에 대해서는 사각지대(3)가 발생된다.
이에, 최근에는 여러 개의 카메라를 물체 주변의 서로 다른 위치에 배치하여 물체의 각 방향을 촬영함으로써 사각지대를 없애고 물체의 전체 형태를 얻을 수 있도록 하고 있다.
그러나, 대부분의 경우 3차원 카메라가 구비되는 3차원 스캐너 장착에 따른 오차 및 3차원 카메라 자체의 오프셋 값 등에 의한 오차 등이 발생하게 된다. 이에 따라 서로 다른 3차원 카메라의 촬영영상을 병합하여 3차원 모델을 생성함에 있어 3차원 카메라에 대한 오차값이 촬영영상에 반영됨으로 인해 정확한 크기와 형태를 갖는 3차원 모델을 생성하는데 어려움이 있게 된다.
1. 한국공개특허 제2012-0102987호 (발명의 명칭 : 삼차원 측정기용 캘리브레이션 장치, 캘리브레이션 시스템 및 갤리브레이션 방법) 2. 한국등록특허 제1371376호 (발명의 명칭 : 3차원 형상 측정 장치)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 대상 물체에 대해 수직하게 배치되는 수직 카메라로부터 제공되는 3차원 기준 영상과 대상 물체의 측면에 배치되는 측면 카메라로부터 제공되는 3차원 측면 영상에서 대상 물체에 대한 공통 모서리를 추출하고, 3차원 측면 영상의 공통 모서리가 3차원 기준 영상의 공통 모서리와 길이 및 방향이 일치하도록 3차원 측면 영상에 대한 오차 보정을 수행하여 3차원 기준 영상과 오차 보정된 3차원 측면 영상을 병합함으로써, 대상 물체에 대해 보다 정확한 크기와 형상을 갖는 3차원 모델을 생성할 수 있도록 해 주는 3차원 모델 생성 시스템 및 그 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 적어도 하나 이상의 평면을 갖는 입체 형상의 대상 물체와, 상기 대상 물체의 평면 상측에 수직하게 배치되어 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 기준 영상을 획득하기 위한 하나의 수직 카메라, 상기 대상 물체의 측면 상측에 배치되어 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 측면 영상을 획득하되, 그 촬영 영상이 상기 수직 카메라에 의해 촬영된 3차원 기준 영상에서 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 위치 설정되는 적어도 하나 이상의 측면 카메라 및, 상기 수직 카메라로부터 제공되는 3차원 기준 영상과 상기 측면 카메라로부터 제공되는 3차원 측면 영상을 기 설정된 기준 좌표계를 근거로 좌표변환처리를 수행하고, 기준 좌표계에 의해 좌표 변환된 3차원 기준 영상과 3차원 측면 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 대상 물체에 대한 공통 모서리를 추출함과 더불어, 3차원 측면 영상의 공통 모서리가 3차원 기준 영상의 공통 모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 이를 근거로 3차원 측면 영상에 대한 좌표 변환을 통해 오차 보정 영상을 생성한 후, 3차원 기준 영상과 오차 보정된 3차원 측면 영상을 병합함으로써, 대상 물체에 대한 3차원 모델을 생성하는 모델 생성 장치를 포함하여 구성되는 것을 특징으로 하는 3차원 모델 생성 시스템이 제공된다.
삭제
또한, 상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 병합행렬로 설정되는 것을 특징으로 하는 3차원 모델 생성 시스템이 제공된다.
Figure 112017113268238-pat00001
여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 모델 생성 장치에서 3차원 모델 생성을 위한 대상 물체의 평면 상측에 수직하게 배치된 수직 카메라로부터 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 기준 영상을 획득하는 제1 단계와, 모델 생성 장치에서 3차원 모델 생성을 위한 대상 물체의 측면 상측에 배치된 적어도 하나 이상의 측면 카메라로부터 대상 물체에 대하여 상기 3차원 기준 영상에서의 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 3차원 도트 클라우드 형태로 표현되는 3차원 측면 영상을 획득하는 제2 단계, 모델 생성 장치에서 상기 수직 카메라로부터 제공되는 3차원 기준 영상과 상기 측면 카메라로부터 제공되는 3차원 측면 영상을 기 설정된 기준 좌표계를 근거로 좌표변환처리를 수행한 후, 기준 좌표계에 의해 좌표 변환된 3차원 기준 영상과 3차원 측면 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 추출함으로써, 대상 물체에 대한 공통 모서리를 추출하는 제3 단계, 모델 생성 장치에서 상기 3차원 측면 영상의 공통모서리가 3차원 기준 영상의 공통모서리와 길이 및 방향이 일치하게 되도록 좌표 변환 관계식을 생성하는 제4 단계, 모델 생성 장치에서 상기 제4 단계에서 생성된 좌표 변환 관계식을 이용하여 3차원 측면 영상에 대한 좌표 변환을 수행함으로써, 오차 보정된 3차원 측면 영상을 생성하는 제5 단계 및, 모델 생성 장치에서 상기 3차원 기준 영상과 상기 오차 보정된 3차원 측면 영상을 병합하여 대상 물체에 대한 3차원 모델을 생성하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 3차원 모델 생성 방법이 제공된다.
삭제
또한, 상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 병합행렬로 설정되는 것을 특징으로 하는 3차원 모델 생성 방법이 제공된다.
Figure 112016048362138-pat00002
여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
본 발명에 의하면 다수의 3차원 카메라로부터 획득한 3차원 영상을 병합하여 물체에 대한 3차원 모델을 확보함으로써, 하나의 3차원 카메라를 사용하였을 때 사각지대가 생기는 현상을 보완하여 물체에 대한 보다 정확한 3차원 모델을 생성하는 것이 가능하다.
또한, 본 발명에 의하면, 각 3차원 카메라로부터 획득한 영상을 병합행렬을 이용하여 좌표변환하여 3차원 모델을 생성함으로써, 각 3차원 카메라의 내부변수와, 외부변수 및, 카메라와 기준좌표계의 기하학적 관계에 대한 오차값이 자동으로 보정되는 효과가 있게 된다. 이는 실제 해당 시스템 설치시 3차원 카메라 설치에 따른 유연성을 가져다 줄 수 있다.
도1은 종래 하나의 3차원 카메라를 이용하여 3차원 모델 생성시 사각지대 발생상태를 예시한 도면.
도2는 본 발명의 제1 실시예에 따른 3차원 모델 생성 시스템의 개략적인 구성을 도시한 도면.
도3은 도1에 도시된 모델 생성 장치(400)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도.
도4는 도3에 도시된 모서리 추출부(420)에서 측면 카메라(300)에서 촬영된 3차원 측면 영상에서 대상 물체(100)에 대해 추출된 모서리를 예시한 도면.
도5는 도3에 도시된 모서리 추출부(420)에서 모서리 추출방법을 설명하기 위한 도면.
도6은 3차원 기준 영상과 3차원 측면 영상의 공통모서리에 대한 오차 발생상태를 예시한 도면.
도7은 도3에 도시된 병합 처리부(430)에서 병합행렬 생성방법을 설명하기 위한 도면.
도8은 도2에 도시된 3차원 모델 생성 시스템에서의 3차원 모델 생성 방법을 설명하기 위한 흐름도.
도9는 본 발명의 제2 실시예에 따른 3차원 모델 생성 시스템의 개략적인 구성을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도2는 본 발명의 제1 실시예에 따른 3차원 모델 생성 시스템의 개략적인 구성을 도시한 도면이다.
도2에 도시된 바와 같이, 본 발명에 따른 3차원 모델 생성 시스템은 3차원 모델링을 위한 대상 물체(100)와, 수직 카메라(200), 측면 카메라(300) 및 모델 생성 장치(400)를 포함하여 구성된다.
상기 대상 물체(100)는 적어도 하나 이상의 평면을 갖는 입체 형상의 물체로 이루어진다. 예컨대, 상기 대상 물체(100)는 육면체, 또는 여러 개의 면을 갖는 다면체일 수 있다.
상기 수직 카메라(200)는 상기 대상 물체(100)의 평면 상측에 수직하게 배치되어 대상 물체(100)의 3차원 기준 영상을 획득한다. 이때, 상기 수직 카메라(200)는 대상 물체(100)에 형성된 평면의 상측에 배치되되, 적어도 하나의 모서리 영역을 포함하는 위치에 배치될 수 있다.
상기 측면 카메라(300)는 상기 수직 카메라(200)와 다른 위치, 보다 상세하게는 대상 물체(100)의 측면 상측에 배치되어 대상 물체(100)에 대한 3차원 측면 영상을 획득한다. 이때, 상기 측면 카메라(300)는 그 촬영영상이 상기 수직 카메라(200)에 촬영된 3차원 기준 영상에서 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 위치가 설정되는 것이 바람직하다. 이는 수직 카메라(200)에 의해 촬영된 3차원 기준영상과 측면 카메라(300)에 의해 촬영된 3차원 측면 영상에서 오차 보정의 기준이 되는 대상 물체에 대한 공통모서리를 확보하기 위함이다.
여기서, 상기 수직 카메라(200)와 측면 카메라(200,300)는 3차원 카메라로서, 레이저 스캐너나 FMCW 레이더(Frequency Modulated Continuous Wave) 또는 TOF 카메라 등으로 구성될 수 있다.
한편, 상기 모델 생성 장치(400)는 상기 수직 카메라(200)으로부터 제공되는 3차원 기준 영상과 상기 3차원 측면 카메라(300)로부터 제공되는 3차원 측면 영상에서 공통모서리를 기준으로 3차원 측면 영상에 대한 오차 보정 영상을 생성하고, 3차원 기준 영상과 오차 보정된 3차원 측면 영상을 병합하여 대상 물체(100)에 대한 3차원 모델을 생성하도록 구성된다. 여기서, 상기 모델 생성 장치(400)는 3차원 스캐너 등을 포함하는 각종 형태의 3차원 형상 및 수치 측정장치가 될 수 있다.
도3은 도2에 도시된 모델 생성 장치(400)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도3에 도시된 바와 같이 모델 생성 장치(400)는 좌표계 변환부(410)와, 모서리 추출부(420) 및 병합 처리부(430)를 포함하여 구성된다.
상기 좌표계 변환부(410)는 상기 수직 및 측면 카메라(200, 300)로부터 제공되는 대상 물체(100)에 대한 3차원 기준 영상과 3차원 측면 영상에 대해 글로벌 원점을 기준으로 하는 좌표계 변환처리를 수행한다. 이때, 상기 좌표계 변환부(410)는 기 설정된 기준 좌표계, 예컨대, 글로벌 원점을 기준으로 하는 좌표계를 이용하여 각 3차원 영상에 대응되는 3차원 카메라의 위치와 방향에 대응되는 변환행렬을 산출하고, 이 변환행렬을 이용하여 좌표계 변환처리를 수행할 수 있다. 여기서, 좌표계 변환을 위한 변환행렬은 공지의 기술이므로 그 상세한 설명은 생략한다.
상기 모서리 추출부(420)는 좌표계 변환된 각 3차원 영상에 대해 모서리 영역을 추출한다. 즉, 상기 모서리 추출부(420)는 상기 수직 및 측면 카메라(200,300)에 대응되는 3차원 기준 영상과 3차원 측면 영상에 존재하는 모든 모서리 영역을 각각 추출한다. 여기서, 상기 수직 및 측면 카메라 즉, 3차원 카메라로부터 제공되는 영상은 도4에 도시된 바와 같이 3차원 도트 클라우드 형태로 표현된다. 그리고, 상기 모서리 추출부(420)는 도트 클라우드가 이루는 평면의 경계를 추출함으로써, 모서리를 추출할 수 있다. 즉, 모서리 추출부(420)는 도5에 도시된 바와 같이 먼저 도트 클라우드가 이루는 평면(P1,P2)을 각각 추출하고, 이 평면(P1,P2)이 마주하는 선(L)을 모서리로서 추출한다. 예컨대, 도4에 도시된 바와 같은 직육면체 형상의 대상 물체(100)에 대한 3차원 측면 영상에 대해서는 9 개의 모서리 (L31, L32, L33, L34, L35, L36, L37, L38, L39)가 추출될 수 있다.
상기 병합 처리부(430)는 3차원 기준 영상과 3차원 측면 영상에서 추출된 모서리 정보를 비교하여 대상 물체에 대해 공통되는 공통 모서리를 추출하고, 3차원 기준 영상의 제1 공통모서리와 3차원 측면 영상의 제2 공통 모서리를 일치시키기 위한 병합행렬을 생성한다. 즉, 도6에 도시된 바와 같이 3차원 기준 영상(A)의 제1 공통모서리(LA)와 3차원 측면 영상(B)에서 제2 공통모서리(LB)가 일치하지 않을 수 있다. 도6에서 제1 공통모서리(LA)와 제2 공통모서리(LB))의 시작점과 끝점에서 서로 다른 오차 거리(G)이 발생할 수 있다. 상기 병합행렬은 이러한 오차 거리(G)을 없앰으로써, 자동으로 3차원 카메라 자체 오차값을 보정하도록 해 준다.
즉, 상기 병합 처리부(430)는 기본적으로 3차원 기준 영상에서 제1 공통모서리에 대한 화소당 기준거리값과 3차원 측면 영상에서의 제2 공통모서리에 대한 화소당 거리값을 산출함과 더불어, 제2 공통모서리의 화소당 거리값을 제1 공통모서리의 화소당 기준 거리값으로 변환하기 위한 병합행렬을 생성한다. 여기서, 상기 병합행렬은 제1 공통모서리의 화소당 거리값 및 위치값에 대한 제2 공통모서리의 화소당 거리값 및 위치값에 대한 오차를 보정하기 위한 관계식으로, 회전변환과 이동변환 및 크기변환 성분을 포함할 수 있다.
한편, 상기 병합 처리부(430)는 하기와 같은 방법을 통해 병합행렬을 생성할 수 있다. 도7에 도시된 바와 같이 제2 라인(
Figure 112016048362138-pat00003
)을 제1 라인(
Figure 112016048362138-pat00004
)과 겹쳐지게 하기 위해서는 제2 라인(
Figure 112016048362138-pat00005
)에 대한 회전변환과, 천이변환 및, 크기변환이 행해져야 한다.
이때, 도7에 도시된 제2 라인(
Figure 112016048362138-pat00006
)을 제1 라인(
Figure 112016048362138-pat00007
)과 일치시키기 위한 회전 행렬은 수학식 1과 같이 표현될 수 있다.
Figure 112016048362138-pat00008
여기서, θ는 회전각도이고, r은 회전중심 좌표이며, Rot 는 회전행렬이다.
또한, 도7에 도시된 제2 라인(
Figure 112016048362138-pat00009
)을 제1 라인(
Figure 112016048362138-pat00010
)과 일치시키기 위한 천이 행렬은 수학식 2와 같이 표현될 수 있다.
Figure 112016048362138-pat00011
여기서, t 는 위상 변화량이고, Trans 는 천이 행렬이다.
또한, 도7에 도시된 제2 라인(
Figure 112016048362138-pat00012
)을 제1 라인(
Figure 112016048362138-pat00013
)과 일치시키기 위한 크기 행렬은 수학식 3과 같이 표현될 수 있다.
Figure 112016048362138-pat00014
여기서, s는 크기 변화량이고, Scale 는 크기 행렬이다.
따라서, 상기 좌표 변환부(540)는 상기한 수학식1 내지 수학식3을 이용하여 수학식4와 같이 제2 라인(
Figure 112016048362138-pat00015
)을 제1 라인(
Figure 112016048362138-pat00016
)과 일치시키기 위한 최종 병합행렬을 생성할 수 있다.
Figure 112016048362138-pat00017
즉, 병합 행렬은 수학식4와 같이 회전변환 성분(Rot11 ~ Rot33)과, 천이변환 성분(tx,ty,tz) 및, 크기변환 성분(s)을 모두 포함하는 4×4 행렬로 나타낼 수 있다.
이어, 상기한 구성으로 된 3차원 모델 생성 시스템에서의 3차원 모델 생성 방법을 도8에 도시된 흐름도를 참조하여 설명한다.
먼저, 도2에 도시된 바와 같이, 수직 카메라(200)는 대상 물체(100)의 평면과 수직하는 상측에 배치되고, 측면 카메라(300)는 대상 물체(100)의 측면을 촬영할 수 있도록 대상 물체(100)에 대해 경사 형성되는 상측에 각각 배치된다.
상기한 상태에서, 모델 생성 장치(400)는 수직 카메라(200)와 측면 카메라(200, 300)를 통해 대상 물체(100)를 촬영하여 대상 물체(100)에 대한 3차원 기준 영상과 3차원 측면 영상을 각각 획득한다(ST10). 이때, 상기 수직 카메라(200)에 의해 획득된 3차원 기준 영상은 대상 물체(100)의 대략적인 형태를 파악함과 더불어 병합의 기준으로 사용할 하나의 기준 면을 획득하기 위한 것이고, 측면 카메라(300)에 의해 획득된 3차원 측면 영상은 3차원 기준 영상에서 발생되는 대상 물체(100)의 사각지대에 대한 영상을 획득하기 위한 것이다.
상기 모델 생성 장치(400)는 3차원 기준 영상과 3차원 측면 영상에 대해 기 설정된 기준 좌표계를 기준으로 좌표변환처리를 각각 수행한다(ST20). 이때, 기준 좌표계는 글로벌 원점을 기준으로 하는 좌표계이거나, 또는 대상 물체(100)가 배치된 스테이지(미도시)의 중심 또는 회전 스테이지(미도시)의 회전축을 기준으로 하는 좌표계가 될 수 있다.
이어, 상기 모델 생성 장치(400)는 상기 3차원 기준 영상과 3차원 측면 영상에서 대상 물체(100)에 대한 모든 모서리를 각각 추출한다(ST30). 즉, 상기 모델 생성 장치(400)는 3차원 기준 영상에서 적어도 하나 이상의 제1 모서리를 추출하고, 3차원 측면 영상에서 적어도 하나 이상의 제2 모서리를 추출한다. 예컨대, 도3에 도시된 바와 같은 3차원 측면 영상에서는 9개의 제2 모서리(L31~L39)를 추출할 수 있다.
또한, 상기 모델 생성 장치(400)는 상기 ST30 단계에서 추출된 제1 및 제2 모서리를 비교하여 대상 물체(100)에 대한 공통모서리를 추출한다 (ST40). 이때, 공통모서리는 3차원 기준 영상에서의 제1 공통모서리와 3차원 측면 영상에서의 제2 공통모서리로 각각 추출될 수 있다.
이어, 상기 모델 생성 장치(400)는 상기 ST40에서 추출된 동일한 공통모서리에 대해 3차원 기준 영상의 제1 공통모서리와 그 길이와 방향이 같아지도록 3차원 측면 영상의 제2 공통모서리를 좌표 변환하기 위한 좌표 변환 관계식 예컨대, 병합행렬을 생성한다(ST50). 이때, 병합행렬은 3차원 기준 영상을 기준으로 3차원 측면 영상에 대한 오차값을 보정하기 위한 관계식이 된다. 즉, 상기 모델 생성 장치(400)는 3차원 측면 영상에서의 제2 공통모서리가 제1 공통모서리의 방향과 일치하도록 하기 위한 위치변환 관계식을 생성함과 더불어, 상기 제2 공통모서리가 제1 공통모서리의 길이와 일치하도록 하기 위한 길이변환 관계식을 생성하여 이들 위치변환 관계식과 길이변환 관계식을 이용하여 최종적으로 좌표 변환 관계식인 병합행렬을 생성한다.
이후, 상기 모델 생성 장치(400)는 측면 카메라(300)를 통해 촬영된 3차원 측면 영상을 상기 ST50 단계에서 생성된 병합행렬을 통해 좌표 변환함으로써, 3차원 측면 영상에 대하여 오차 보정된 영상을 생성하게 된다(ST60).
또한, 상기 모델 생성 장치(400)는 상기 3차원 기준 영상과 상기 ST60 단계에서 오차 보정된 3차원 측면 영상을 이용하여 대상 물체(100)에 대한 3차원 모델을 생성한다(ST70).
한편, 본 발명에 있어서는 도9에 도시된 바와 같이 다수, 예컨대 제1 내지 제4 측면 카메라(310,320,330,340)를 대상 물체(100)에 대해 서로 다른 측면 위치에 배치하여 구성될 수 있다. 이때, 각 측면 카메라는 그 촬영영상이 수직 카메라 영상에 포함된 적어도 하나 이상의 대상 물체 모서리를 포함하도록 설치 위치가 설정된다. 또한, 모델 생성장치(400)는 각 측면 카메라 즉, 제1 및 제4 측면 카메라(310,320,330,340)에 대해 3차원 기준 영상의 공통모서리를 기준으로 각각의 병합행렬을 생성하고, 해당 병합행렬을 이용하여 각각 오차 보정된 3차원 측면 영상을 생성함으로써, 이들 오차 보정된 3차원 측면 영상과 3차원 기준 영상을 결합하여 하나의 대상 물체에 대한 3차원 모델을 생성할 수 있다.
100 : 대상 물체, 200 : 수직 카메라,
300 : 측면 카메라, 400 : 모델 생성 장치.

Claims (6)

  1. 적어도 하나 이상의 평면을 갖는 입체 형상의 대상 물체와,
    상기 대상 물체의 평면 상측에 수직하게 배치되어 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 기준 영상을 획득하기 위한 하나의 수직 카메라,
    상기 대상 물체의 측면 상측에 배치되어 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 측면 영상을 획득하되, 그 촬영 영상이 상기 수직 카메라에 의해 촬영된 3차원 기준 영상에서 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 위치 설정되는 적어도 하나 이상의 측면 카메라 및,
    상기 수직 카메라로부터 제공되는 3차원 기준 영상과 상기 측면 카메라로부터 제공되는 3차원 측면 영상을 기 설정된 기준 좌표계를 근거로 좌표변환처리를 수행하고, 기준 좌표계에 의해 좌표 변환된 3차원 기준 영상과 3차원 측면 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 근거로 대상 물체에 대한 공통 모서리를 추출함과 더불어, 3차원 측면 영상의 공통 모서리가 3차원 기준 영상의 공통 모서리와 길이 및 방향이 일치하도록 좌표 변환 관계식을 생성하고, 이를 근거로 3차원 측면 영상에 대한 좌표 변환을 통해 오차 보정 영상을 생성한 후, 3차원 기준 영상과 오차 보정된 3차원 측면 영상을 병합함으로써, 대상 물체에 대한 3차원 모델을 생성하는 모델 생성 장치를 포함하여 구성되는 것을 특징으로 하는 3차원 모델 생성 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 병합행렬로 설정되는 것을 특징으로 하는 3차원 모델 생성 시스템.
    Figure 112017113268238-pat00018

    여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
  4. 모델 생성 장치에서 3차원 모델 생성을 위한 대상 물체의 평면 상측에 수직하게 배치된 수직 카메라로부터 대상 물체에 대하여 3차원 도트 클라우드 형태로 표현되는 3차원 기준 영상을 획득하는 제1 단계와,
    모델 생성 장치에서 3차원 모델 생성을 위한 대상 물체의 측면 상측에 배치된 적어도 하나 이상의 측면 카메라로부터 대상 물체에 대하여 상기 3차원 기준 영상에서의 대상 물체에 대한 적어도 하나 이상의 모서리를 포함하도록 3차원 도트 클라우드 형태로 표현되는 3차원 측면 영상을 획득하는 제2 단계,
    모델 생성 장치에서 상기 수직 카메라로부터 제공되는 3차원 기준 영상과 상기 측면 카메라로부터 제공되는 3차원 측면 영상을 기 설정된 기준 좌표계를 근거로 좌표변환처리를 수행한 후, 기준 좌표계에 의해 좌표 변환된 3차원 기준 영상과 3차원 측면 영상에서 도트 클라우드가 이루는 서로 다른 평면의 경계를 추출함으로써, 대상 물체에 대한 공통 모서리를 추출하는 제3 단계,
    모델 생성 장치에서 상기 3차원 측면 영상의 공통모서리가 3차원 기준 영상의 공통모서리와 길이 및 방향이 일치하게 되도록 좌표 변환 관계식을 생성하는 제4 단계,
    모델 생성 장치에서 상기 제4 단계에서 생성된 좌표 변환 관계식을 이용하여 3차원 측면 영상에 대한 좌표 변환을 수행함으로써, 오차 보정된 3차원 측면 영상을 생성하는 제5 단계 및,
    모델 생성 장치에서 상기 3차원 기준 영상과 상기 오차 보정된 3차원 측면 영상을 병합하여 대상 물체에 대한 3차원 모델을 생성하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 3차원 모델 생성 방법.
  5. 삭제
  6. 제4항에 있어서,
    상기 좌표변환관계식은 회전변환 성분과, 천이변환 성분 및, 크기변환 성분을 모두 포함하는 4×4 행렬로서, 하기와 같은 병합행렬로 설정되는 것을 특징으로 하는 3차원 모델 생성 방법.
    Figure 112016048362138-pat00019

    여기서, 상기 Rot11 ~ Rot33는 회전변환 성분, tx,ty,tz는 천이변환 성분, s 는 크기변환 성분임.
KR1020160061806A 2016-05-20 2016-05-20 3차원 모델 생성 시스템 및 그 방법 KR101809558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160061806A KR101809558B1 (ko) 2016-05-20 2016-05-20 3차원 모델 생성 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160061806A KR101809558B1 (ko) 2016-05-20 2016-05-20 3차원 모델 생성 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170130896A KR20170130896A (ko) 2017-11-29
KR101809558B1 true KR101809558B1 (ko) 2017-12-22

Family

ID=60811544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160061806A KR101809558B1 (ko) 2016-05-20 2016-05-20 3차원 모델 생성 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101809558B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094488A (ko) 2021-12-21 2023-06-28 주식회사 케이티 객체에 대한 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4269940A3 (en) * 2018-10-15 2023-11-29 Koh Young Technology Inc. Device and method for inspection
CN115018933A (zh) * 2022-06-30 2022-09-06 武汉衷华脑机融合科技发展有限公司 一种基于多模态摄像头的立体影像生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180756B1 (ko) * 2011-10-12 2012-09-10 (주) 한양지에스티 항공촬영화상의 보정 장치
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180756B1 (ko) * 2011-10-12 2012-09-10 (주) 한양지에스티 항공촬영화상의 보정 장치
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094488A (ko) 2021-12-21 2023-06-28 주식회사 케이티 객체에 대한 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20170130896A (ko) 2017-11-29

Similar Documents

Publication Publication Date Title
US11629955B2 (en) Dual-resolution 3D scanner and method of using
Shah et al. A simple calibration procedure for fish-eye (high distortion) lens camera
US20100157280A1 (en) Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
CN104007444B (zh) 一种基于中心投影的地面激光雷达反射强度图像的生成方法
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
JP5429291B2 (ja) 画像処理装置及び画像処理方法
CN101901501A (zh) 一种生成激光彩色云图的方法
CN104807449A (zh) 一种基于立体摄影测量的输电线路交叉跨越测量系统
KR101809558B1 (ko) 3차원 모델 생성 시스템 및 그 방법
KR101809529B1 (ko) 3차원 캘리브레이션 시스템 및 그 방법
CN107084680A (zh) 一种基于机器单目视觉的目标深度测量方法
JP2010091426A (ja) 距離計測装置及びプログラム
CN110533649B (zh) 一种无人机通用结构裂缝识别检测装置及方法
US12094227B2 (en) Object recognition device and object recognition method
CN112017248A (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
JP2005283440A (ja) 振動計測装置及びその計測方法
JPH10122819A (ja) キャリブレーション方法およびその装置
JP3862402B2 (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
Teo 3d deformation measurement of concrete wall using close-range photogrammetry
KR101801168B1 (ko) 3차원 정렬 오차 측정용 입체형 캘리브레이터와, 이를 이용한 3차원 정렬 오차 산출 방법
CN117523086A (zh) 一种多模态数据三维场景重建方法及装置
WO2023162730A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114359365B (zh) 一种具有高分辨率的汇聚式双目视觉测量方法
JP2775924B2 (ja) 画像データ作成装置
WO2024150322A1 (ja) 点群処理装置、点群処理方法、及び点群処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160520

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20170124

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170510

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20171113

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170510

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20171113

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170710

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20171127

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20171115

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20171113

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170710

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PG1501 Laying open of application
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171211

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201207

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211206

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221130

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241202

Start annual number: 8

End annual number: 8