KR101424118B1 - 3차원 스캐닝 장치 및 3차원 스캐닝 방법 - Google Patents

3차원 스캐닝 장치 및 3차원 스캐닝 방법 Download PDF

Info

Publication number
KR101424118B1
KR101424118B1 KR1020120156266A KR20120156266A KR101424118B1 KR 101424118 B1 KR101424118 B1 KR 101424118B1 KR 1020120156266 A KR1020120156266 A KR 1020120156266A KR 20120156266 A KR20120156266 A KR 20120156266A KR 101424118 B1 KR101424118 B1 KR 101424118B1
Authority
KR
South Korea
Prior art keywords
dimensional
image
point
resolution
projection
Prior art date
Application number
KR1020120156266A
Other languages
English (en)
Other versions
KR20140086139A (ko
Inventor
박순용
최성인
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120156266A priority Critical patent/KR101424118B1/ko
Publication of KR20140086139A publication Critical patent/KR20140086139A/ko
Application granted granted Critical
Publication of KR101424118B1 publication Critical patent/KR101424118B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 3차원 스캐닝 장치 및 방법에 관한 것으로, 3차원 거리영상을 획득하는 하나 이상의 3차원 센서와, 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 2차원 영상카메라, 그리고 저해상도 3차원 거리영상과 고해상도 2차원 영상을 합성하여, 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함하는 3차원 스캐닝 장치를 제공한다.

Description

3차원 스캐닝 장치 및 3차원 스캐닝 방법{Method and Apparatus for 3D Scanning}
본 발명은 3차원 스캐닝 장치 및 3차원 스캐닝 방법에 관한 것이다.
3차원 스캐닝 장치는 물체의 3차원 형상 및 색상 정보를 획득하는 광학기기로서 상업, 건축, 의학, 공업, 학술, 문화 등 광범위한 분야에 걸쳐 사용된다. 3차원 스캐닝 장치는 레이저 삼각법, 구조광 투영, TOF(Time Of Flight) 등 여러 가지의 방법으로 구현이 가능하며, 획득된 물체의 3차원 형상 정보를 컴퓨터에서 사용할 수 있는 3차원 파일 형식으로 저장한다.
3차원 스캐닝 기술은 물체의 형상 정보를 획득하여 컴퓨터 모델로 저장하며, 로봇의 주행, 부품의 결함 검사, 리버스(reverse) 엔지니어링, HCI (Human Computer Interaction), 문화재복원 등의 분야에서 그 요구가 점차 증가하고 있다. 하지만 현재 상용화된 고해상도 및 고화질의 3차원 스캐닝 장치는 매우 고가인 단점이 있다. 뿐만 아니라, 현재 상용화된 고해상도 및 고화질 3차원 스캐닝 장치는 많은 데이터 처리량을 필요로 하므로 3차원 정보의 획득에 소요되는 시간이 길다는 문제점을 갖는다.
본 발명은 저가의 저해상도 3차원 센서를 이용하여 고해상도 및 고화질의 3차원 모델을 생성할 수 있는 3차원 스캐닝 장치 및 3차원 스캐닝 방법을 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 다른 과제는 고해상도 및 고화질의 3차원 모델을 고속으로 생성할 수 있는 3차원 스캐닝 장치 및 3차원 스캐닝 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 3차원 스캐닝 장치는, 3차원 거리영상을 획득하는 하나 이상의 3차원 센서; 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 2차원 영상카메라; 그리고 상기 3차원 거리영상과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함한다.
일 실시 예로, 상기 3차원 모델 생성부는, 상기 3차원 거리영상의 2차원 텍스쳐 영상에서 상기 2차원 영상의 각 영상점에 대응하는 2차원 대응점을 결정하고, 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 상기 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성할 수 있다.
일 실시 예로, 상기 3차원 거리영상의 해상도는 640×480 픽셀 이하로 낮으며, 상기 2차원 텍스쳐 영상의 해상도는 상기 2차원 영상의 해상도보다 낮으며, 상기 2차원 영상의 해상도는 1280×960 픽셀 이상으로 높을 수 있다.
일 실시 예로, 상기 3차원 모델 생성부는, 상기 3차원 거리영상을 공통 좌표계로 변환하여 등록하는 등록부; 상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 투영점 산출부; 상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 영상 정합부; 그리고 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 3차원 형상 정보 생성부를 포함할 수 있다.
일 실시 예로, 상기 투영점 산출부는 상기 3차원 센서의 투영변환 행렬을 이용하여 상기 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾으며, 상기 투영변환 행렬은 상기 3차원 센서의 내부 파라메터를 보정하는 과정을 통해 산출될 수 있다.
일 실시 예로, 상기 영상 정합부는, 상기 투영점에 기초하는 상기 3차원 센서와 상기 2차원 영상카메라 간의 에피폴라 직선상에서 후보점들을 결정하고, 각 후보점을 포함하는 소정의 크기의 영상 블록과, 상기 2차원 영상의 상기 영상점을 포함하는 소정의 크기의 영상 블록 간의 정합 오차를 산출하며, 상기 후보점들 중 상기 정합 오차가 최소값으로 산출되는 후보점을 상기 2차원 대응점으로 결정할 수 있다.
일 실시 예로, 상기 3차원 형상 정보 생성부는, 상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 영상점의 상기 X축 좌표값의 비에 기초하여 상기 3차원 좌표값의 X축 좌표값을 산출하고, 상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 영상점의 Y축 좌표값의 비에 기초하여 상기 3차원 좌표값의 Y축 좌표값을 산출하고, 상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 2차원 영상카메라의 초점 거리의 비에 기초하여 상기 3차원 좌표값의 Z축 좌표값을 산출할 수 있다.
일 실시 예로, 상기 3차원 모델 생성부는, 상기 고해상도 3차원 거리영상에 상기 2차원 영상의 색상 정보를 추가하는 색상 처리부를 더 포함할 수 있다.
일 실시 예로, 상기 고해상도 3차원 거리영상의 해상도는 상기 2차원 영상의 해상도와 동일할 수 있다.
본 발명의 다른 일 측면에 따르면, 제1 해상도를 갖는 저해상도 3차원 거리영상과, 상기 제1 해상도보다 높은 제2 해상도를 갖는 고해상도 2차원 영상을 합성하여, 상기 제2 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함하는 3차원 스캐닝 장치가 제공될 수 있다.
본 발명의 다른 일 측면에 따르면, 서로 다른 시점에서 피사체에 대한 3차원 거리영상을 획득하는 복수 개의 3차원 센서; 상기 피사체에 대하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 2차원 영상카메라; 그리고 상기 3차원 거리영상과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함하는 3차원 스캐닝 장치가 제공될 수 있다.
일 실시 예로, 상기 3차원 모델 생성부는, 상기 복수 개의 3차원 센서에 의하여 서로 다른 시점에서 획득된 3차원 거리영상들을 등록하되, 상기 3차원 거리영상들 중 하나 이상의 3차원 거리영상을, 상기 복수 개의 3차원 센서 간의 3차원 변환관계에 기초하여 공통 좌표계로 변환하여 등록하는 등록부; 상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상들 중에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 교점이 존재하는 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 투영점 산출부; 상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 영상 정합부; 그리고 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 3차원 형상 정보 생성부를 포함할 수 있다.
본 발명의 또 다른 일 측면에 따르면, 3차원 거리영상과, 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 합성하여, 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 단계를 포함하는 3차원 스캐닝 방법이 제공될 수 있다.
일 실시 예로, 상기 고해상도 3차원 거리영상을 생성하는 단계는, 3차원 모델 생성부가 상기 3차원 거리영상의 2차원 텍스쳐 영상에서 상기 2차원 영상의 각 영상점에 대응하는 2차원 대응점을 결정하고, 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 상기 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 단계를 포함할 수 있다.
일 실시 예로, 상기 고해상도 3차원 거리영상을 생성하는 단계는, 상기 3차원 거리영상을 공통 좌표계로 변환하여 등록하는 단계; 상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 단계; 상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 단계; 그리고 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 단계를 포함할 수 있다.
일 실시 예로, 상기 2차원 대응점을 결정하는 단계는, 상기 투영점에 기초하는 에피폴라 직선상에서 후보점들을 결정하고, 각 후보점을 포함하는 소정의 크기의 영상 블록과, 상기 2차원 영상의 상기 영상점을 포함하는 소정의 크기의 영상 블록 간의 정합 오차를 산출하는 단계; 그리고 상기 후보점들 중 상기 정합 오차가 최소값으로 산출되는 후보점을 상기 2차원 대응점으로 결정하는 단계를 포함할 수 있다.
일 실시 예로, 상기 3차원 스캐닝 방법은, 상기 고해상도 3차원 거리영상에 상기 2차원 영상의 색상 정보를 추가하여 3차원 모델을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 일 측면에 따르면, 상기한 3차원 스캐닝 방법을 실행하는 프로그램을 기록한 컴퓨터에서 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 또 다른 일 측면에 따르면, 복수 개의 3차원 센서가 서로 다른 시점에서 피사체에 대한 3차원 거리영상들을 획득하는 단계; 2차원 영상카메라가 상기 피사체에 대하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 단계; 그리고 상기 3차원 거리영상들과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 단계를 포함하는 3차원 스캐닝 방법이 제공될 수 있다.
일 실시 예로, 상기 3차원 거리영상을 생성하는 단계는, 상기 복수 개의 3차원 센서에 의하여 서로 다른 시점에서 획득된 3차원 거리영상들을 등록하되, 상기 3차원 거리영상들 중 하나 이상의 3차원 거리영상을, 상기 복수 개의 3차원 센서 간의 3차원 변환관계에 기초하여 공통 좌표계로 변환하여 등록하는 단계; 상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상들 중에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 교점이 존재하는 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 센서의 투영변환 행렬을 이용하여 상기 3차원 교점으로부터 투영된 투영점을 찾는 단계; 상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 단계; 그리고 상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면 저가의 저해상도 3차원 센서를 이용하면서도 고해상도 및 고화질의 3차원 모델을 고속으로 생성할 수 있다.
본 발명의 효과는 상술한 효과로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치를 이용하여 3차원 모델을 생성하는 것을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치를 좀 더 상세하게 나타낸 구성도이다.
도 4는 도 3에 도시된 영상 프로세서를 좀 더 상세히 나타낸 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 3차원 스캐닝 방법의 흐름도이다.
도 6은 도 5에 도시된 단계 S53의 예시적인 흐름도이다.
도 7은 도 6에 도시된 단계 S62의 예시적인 흐름도이다.
도 8은 도 6에 도시된 단계 S62를 설명하기 위한 개념도이다.
도 9는 도 6에 도시된 단계 S63을 설명하기 위한 개념도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 발명의 일 실시 예에 따른 3차원 스캐닝 장치는, 하나 이상의 저해상도 저화질의 3차원 거리영상과, 고해상도 고화질의 2차원 영상을 합성하여, 고해상도 및 고화질의 3차원 모델을 생성한다. 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치는, 저해상도 3차원 거리영상의 2차원 텍스쳐 영상에서, 고해상도 2차원 영상의 각 영상점에 대응하는 2차원 대응점을 결정하고, 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 고해상도 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써, 고해상도 및 고화질의 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함한다. 부가적으로, 3차원 모델 생성부는 고해상도 및 고화질의 3차원 거리영상의 각 3차원 점의 컬러 정보를, 각 3차원 점에 대응하는 고해상도 2차원 영상의 영상점에서 가져와서 3차원 좌표값에 추가함으로써, 최종적으로 고해상도 및 고화질의 3차원 모델을 생성할 수 있다. 본 발명의 일 실시 예에 의하면 저가의 저해상도 3차원 센서를 이용하면서도 고해상도 및 고화질의 3차원 모델을 고속으로 생성할 수 있다.
본 발명의 일 실시 예에 따른 3차원 스캐닝 장치는, 복수 개의 저해상도 3차원 센서를 이용하여 서로 다른 시점에서 피사체에 대하여 획득한 저해상도 3차원 거리영상들과, 고해상도 2차원 영상카메라를 이용하여 피사체에 대하여 획득한 고해상도 2차원 영상을 합성하여 고해상도 및 고화질의 3차원 모델을 생성할 수 있다. 이와 같이 복수 개의 저해상도 3차원 센서를 이용하여 3차원 모델을 생성하는 실시 예에 의하면, 하나의 저해상도 3차원 센서를 이용하는 실시 예에 비해 피사체의 보다 넓은 영역에 대하여 고해상도 및 고화질의 3차원 모델을 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치의 구성도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치는 3차원 센서(100), 2차원 영상카메라(200), 3차원 모델 생성부(300), 사용자 인터페이스부(400), 그리고 디스플레이부(500)를 포함한다.
3차원 센서(100)는 피사체에 대하여 3차원 거리영상을 획득한다. 3차원 거리영상은 피사체에 대한 3차원 형상 정보와, 피사체에 대한 2차원 텍스쳐(texture) 영상을 포함할 수 있다. 3차원 형상 정보는 예를 들어, 3차원 센서(100)로부터 2차원 텍스쳐(texture) 영상의 각 영상점에 대응하는 피사체의 점에 이르는 거리 정보를 포함할 수 있다. 3차원 센서(100)는 예를 들어 레이저 스캔 또는 할로겐 램프 등의 광원을 이용하는 방식으로 3차원 거리영상을 획득할 수 있으나, 이에 제한되지는 않는다.
2차원 영상 카메라(200)는 피사체에 대하여 2차원 영상을 획득한다. 일 실시 예에 있어서, 2차원 영상은 3차원 센서(100)에 의해 획득된 3차원 거리영상의 2차원 텍스쳐 영상(이하에서, "제1 텍스쳐 영상"으로 칭할 수 있음)보다 높은 해상도를 갖는 고해상도 및 고화질의 2차원 텍스쳐 영상(이하에서, "제2 텍스쳐 영상"으로 칭할 수 있음)일 수 있다.
일 실시 예에 있어서, 3차원 거리영상의 해상도(resolution) 및 화질은 제2 텍스쳐 영상의 해상도 및 화질보다 낮을 수 있다. 즉, 3차원 센서(100)에 의해 획득된 3차원 형상 정보의 해상도 및 제1 텍스쳐 영상의 해상도는 제2 텍스쳐 영상의 해상도보다 낮을 수 있다. 3차원 거리영상의 해상도는 예를 들어 640×480 픽셀의 해상도 이하일 수 있다. 일 실시 예에 있어서, 2차원 영상 카메라(200)는 예를 들어 1280×960 픽셀 이상의 고해상도 2차원 텍스쳐 영상을 촬영하는 디지털 카메라일 수 있다.
3차원 센서(100)에 의해 획득된 저해상도 및 저화질의 3차원 거리영상 및 2차원 영상 카메라(200)에 의해 획득된 고해상도 및 고화질의 2차원 영상은 예를 들어 사용자에 의한 사용자 인터페이스부(400)의 입력에 따라 3차원 모델 생성부(300)로 입력될 수 있다. 사용자 인터페이스부(400)는 예를 들어 키보드 또는 마우스 등의 형태로 제공될 수 있다.
3차원 모델 생성부(300)는 저해상도 및 저화질의 3차원 거리영상과, 고해상도 및 고화질의 2차원 영상을 합성하여 고해상도 및 고화질의 3차원 모델을 생성할 수 있다. 3차원 모델 생성부(300)에 대하여는 이후 도 3 내지 도 4를 참조하여 보다 구체적으로 후술한다. 디스플레이부(500)는 3차원 모델 생성부(300)에 의해 생성된 고해상도 및 고화질의 3차원 모델을 디스플레이할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치를 이용하여 3차원 모델을 생성하는 것을 개념적으로 나타낸 도면이다. 도 2에 도시된 실시 예에서는 복수 개의 3차원 센서(100a,100b)가 설치 위치 및 센싱 방향에 따라 서로 다른 시점에서 피사체(600)에 대하여 서로 다른 형태의 3차원 거리영상들(A1,A2)을 획득한다. 예를 들어, 제1 3차원 센서(100a)는 제1 시점에서 저해상도 및 저화질의 제1 3차원 거리영상(A1)을 획득하며, 제2 3차원 센서(100b)는 제2 시점에서 저해상도 및 저화질의 제2 3차원 거리영상(A2)을 획득한다.
2차원 영상 카메라(200)는 복수 개의 3차원 센서(100a,100b)와 다른 제3 시점에서 고해상도 및 고화질의 2차원 텍스쳐 영상(B)을 획득한다. 3차원 모델 생성부(300)는 복수 개의 3차원 센서(100a,100b)에 의하여 서로 다른 시점에서 획득된 서로 다른 형태의 저해상도 및 저화질의 3차원 거리영상들(100a,100b)이 공통 좌표계를 갖도록, 저해상도 및 저화질의 3차원 거리영상들(100a,100b) 중 하나 이상의 3차원 거리영상의 좌표계를 변환하여 등록(registration)한다. 일 실시 예에 있어서, 공통 좌표계는 3차원 센서들(100a,100b) 중 어느 하나의 3차원 센서(100a)의 좌표계를 기준으로 설정될 수 있다.
3차원 모델 생성부(300)는 등록된 저해상도 및 저화질의 3차원 거리영상(A3)과, 2차원 영상 카메라(200)에 의해 획득된 고해상도 2차원 텍스쳐 영상(B)을 합성하여, 고해상도 및 고화질의 3차원 거리영상(C)을 생성한다. 3차원 모델 생성부(300)는 생성된 고해상도 및 고화질의 3차 거리영상(C)에 고해상도 2차원 텍스쳐 영상(B)의 색상 정보를 추가하여, 최종적으로 고해상도 및 고화질의 3차원 모델(D)을 생성한다.
도 2의 실시 예에서는, 2개의 저해상도 및 저화질의 3차원 센서(100a,100b)와, 하나의 고해상도 및 고화질의 2차원 영상카메라(200)를 이용하여, 고해상도 및 고화질의 3차원 스캐닝을 구현하는 예를 보여주지만, 다른 실시 예로서 하나의 3차원 센서만을 이용하거나 3개 이상의 3차원 센서를 이용하여 3차원 스캐닝을 구현할 수도 있다. 도 2의 실시 예에서와 같이, 복수 개의 저해상도의 3차원 센서(100a,100b)를 이용하는 실시 예에 있어서는, 2차원 영상카메라(200)를 사이에 두고 2차원 영상카메라(200)의 피사체에 대한 촬영 영역을 지향하도록 저해상도 3차원 센서들(100a,100b)을 배치함으로써, 복수 개의 3차원 센서(100a,100b)의 피사체에 대한 전체 스캔 영역이 2차원 영상카메라(200)의 피사체에 대한 촬영 영역을 모두 포함하도록 할 수 있다. 이와 같이 하면 2차원 영상카메라(200)에 의해 획득된 고해상도 2차원 텍스쳐 영상의 모든 영상점에 대응하는 3차원 정보를 분석할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치를 좀 더 상세하게 나타낸 구성도이다. 도 3을 참조하면, 3차원 모델 생성부(300)는 입력부(310), 영상 프로세서(320), 출력부(330) 그리고 저장부(340)를 포함할 수 있다.
입력부(310)는 3차원 센서(100) 및 2차원 영상 카메라(200)로부터 데이터를 입력받는 인터페이스로서, 3차원 센서(100)로부터 저해상도 3차원 거리영상(저해상도 3차원 형상 정보 및 저해상도 2차원 텍스쳐 영상)을 입력받고, 2차원 영상 카메라(200)로부터 고해상도 2차원 영상을 입력받는다.
영상 프로세서(320)는 저해상도 3차원 거리영상과, 고해상도 2차원 영상을 영상 처리를 통해 합성하여 고해상도 3차원 거리영상을 생성한다. 일 실시 예에 있어서, 3차원 모델 생성부(300)의 영상 프로세서(320)는 저해상도 3차원 거리영상의 2차원 텍스쳐 영상(제1 텍스쳐 영상)에서 고해상도 2차원 영상의 각 영상점에 대응하는 2차원 대응점을 결정하고, 결정된 2차원 대응점의 좌표값에 기초하여 예를 들어 삼각 측량법을 이용하여 고해상도 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써, 고해상도 3차원 거리영상을 생성할 수 있다. 영상 프로세서(320)는 생성한 고해상도 3차원 거리영상에 고해상도 2차원 영상의 색상 정보를 추가하여 고해상도 3차원 모델을 생성한다.
출력부(330)는 영상 프로세서(320)와, 디스플레이부(500) 간에 데이터를 전송하는 인터페이스로서, 영상 프로세서(320)에 의해 생성된 3차원 모델 데이터를 디스플레이부(500)로 출력한다.
일 실시 예에 있어서, 저장부(340)는 영상 프로세서(320)가 영상 처리를 수행하는데 필요한 프로그램, 3차원 센서(100)와 2차원 영상 카메라(200) 간의 3차원 변환관계를 나타내는 행렬, 또는 3차원 센서(100)와 2차원 영상 카메라(200)의 투영변환 행렬, 영상 프로세서(320)에 의해 생성된 3차원 모델 등의 데이터를 저장할 수 있다.
도 4는 도 3에 도시된 영상 프로세서를 좀 더 상세히 나타낸 구성도이다. 도 4를 참조하면, 영상 프로세서(320)는 등록부(321), 투영점 산출부(322), 영상 정합부(323), 3차원 형상 정보 생성부(324) 그리고 색상 처리부(325)를 포함할 수 있다.
등록부(321)는 저해상도 3차원 거리영상을 공통 좌표계로 변환하여 등록한다. 복수 개의 3차원 센서를 이용하여 서로 다른 시점에서 저해상도 3차원 거리영상들을 획득하는 실시 예의 경우, 등록부(321)는 저해상도 3차원 거리영상들 중 하나 이상의 3차원 거리영상을, 복수 개의 3차원 센서(100) 간의 기하관계를 고려한 3차원 변환관계에 기초하여 공통 좌표계로 변환하여 등록할 수 있다.
투영점 산출부(322)는 고해상도 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록부(321)에 의해 등록된 저해상도 3차원 거리영상에서 투영선이 교차되는 3차원 교점을 찾고, 등록된 저해상도 3차원 거리영상의 2차원 텍스쳐 영상에서 3차원 교점으로부터 투영된 투영점을 찾는다. 투영점 산출부(322)는 예를 들어 저해상도 3차원 센서(100)의 투영변환 행렬을 이용하여, 제1 텍스쳐 영상에서, 저해상도 3차원 거리영상의 3차원 교점으로부터 투영된 2차원 투영점을 찾을 수 있다. 일 실시 예에 있어서, 투영변환 행렬은 3차원 센서의 내부 파라메터를 보정(calibration)하는 과정을 통해 산출될 수 있다.
영상 정합부(323)는 고해상도 2차원 영상의 2차원 영상점 및 2차원 투영점에 기초하여, 저해상도의 제1 텍스쳐 영상과, 고해상도의 제2 텍스쳐 영상 간의 영상 정합을 수행함으로써, 저해상도의 제1 텍스쳐 영상에서 고해상도의 제2 텍스쳐 영상의 각 영상점에 대응하는 2차원 대응점을 결정한다. 일 실시 예에 있어서, 영상 정합부(323)는 투영점에 기초하는 3차원 센서(100)와 2차원 영상카메라(200) 간의 에피폴라(epipolar) 직선상에서 후보점들을 결정하고, 각 후보점을 포함하는 제1 텍스쳐 영상에서의 소정의 크기의 영상 블록과, 제2 텍스쳐 영상의 영상점을 포함하는 소정의 크기의 영상 블록 간의 정합 오차를 산출하며, 후보점들 중 정합 오차가 최소값으로 산출되는 후보점을 2차원 대응점으로 결정할 수 있다.
3차원 형상 정보 생성부(324)는 저해상도의 제1 텍스쳐 영상의 2차원 대응점의 좌표값에 기초하여, 삼각 측량법을 이용하여 고해상도의 제2 텍스쳐 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써, 고해상도 3차원 거리영상을 생성한다.
일 실시 예에 있어서, 3차원 형상 정보 생성부(324)는 제2 텍스쳐 영상의 2차원 영상점의 X축 좌표값과 제1 텍스쳐 영상의 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 2차원 영상점의 X축 좌표값의 비에 기초하여 3차원 좌표값의 X축 좌표값을 산출할 수 있다. 일 실시 예에 있어서, 3차원 형상 정보 생성부(324)는 제2 텍스쳐 영상의 2차원 영상점의 X축 좌표값과 제1 텍스쳐 영상의 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 2차원 영상점의 Y축 좌표값의 비에 기초하여 3차원 좌표값의 Y축 좌표값을 산출할 수 있다. 일 실시 예에 있어서, 3차원 형상 정보 생성부(324)는 제2 텍스쳐 영상의 2차원 영상점의 X축 좌표값과 제1 텍스쳐 영상의 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 2차원 영상카메라(200)의 초점 거리의 비에 기초하여 3차원 좌표값의 Z축 좌표값을 산출할 수 있다.
색상 처리부(325)는, 3차원 형상 정보 생성부(324)에 의하여 생성된 고해상도의 3차원 형상 정보를 포함하는 고해상도 3차원 거리영상에, 고해상도 2차원 영상(제2 텍스쳐 영상)의 색상 정보를 추가하여, 고해상도 및 고화질의 3차원 모델을 생성한다.
이하에서는 도 4 내지 도 9를 참조하여, 본 발명의 일 실시 예에 따른 3차원 스캐닝 장치의 동작과 작용, 그리고 본 발명의 일 실시 예에 따른 3차원 스캐닝 방법에 대해 설명한다.
도 5는 본 발명의 일 실시 예에 따른 3차원 스캐닝 방법의 흐름도이다. 도 3 내지 도 5를 참조하면, 본 발명의 일 실시 예에 따른 3차원 스캐닝 방법은, 저해상도 3차원 거리영상과, 저해상도 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 2차원 영상을 합성하여, 저해상도 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 단계(S53)를 포함한다.
먼저, 단계 S51에서 저해상도 3차원 센서(100)와 고해상도 2차원 영상카메라(200) 간의 3차원 기하관계 및 내부 파라메터의 보정 과정을 수행하여, 저해상도 3차원 센서(100)와 고해상도 2차원 영상카메라(200) 간의 3차원 변환관계 및 저해상도 3차원 센서(100)와 고해상도 2차원 영상카메라(200)의 투영변환 행렬을 산출한다.
각 3차원 센서(100)와 2차원 영상카메라(200)는 서로 다른 좌표계에서 피사체에 대한 정보를 획득하므로, 3차원 거리영상을 공통 좌표계로 변환하여 등록(registration)할 필요가 있다. 이때, 3차원 거리영상의 등록을 위해서는 3차원 센서들에 대한 기하보정(geometric calibration) 값이 있어야 하며, 상기한 단계 S51의 과정에서 이러한 기하보정 값을 산출한다. 3차원 센서(100)와 2차원 영상 카메라(200) 간의 3차원 기하관계는 3차원 센서(100)와 2차원 영상카메라(200)의 위치 및 방향 정보, 예를 들어 3차원 센서(100)와 2차원 영상카메라(200) 간의 변이 정보 및 회전 정보를 포함할 수 있다. 3차원 센서(100)와 2차원 영상 카메라(200)의 내부 파라메터는 예를 들어 카메라의 렌즈의 왜곡에 대한 정보 등을 포함할 수 있다.
일 실시 예에 있어서, 3차원 센서(100)와 2차원 영상 카메라(200) 간의 3차원 기하관계에 기초하여, 3차원 센서(100)와 2차원 영상 카메라(200) 간의 3차원 변환관계를 나타내는 행렬이 결정될 수 있다. 일 실시 예에 있어서, 3차원 센서(100)의 내부 파라메터에 기초하여, 3차원 센서(100)의 투영변환 행렬이 결정될 수 있다. 3차원 변환행렬 및 투영변환 행렬은 3차원 모델 생성부(300)의 저장부(340)에 저장될 수 있다.
다음으로, 단계 52에서, 저해상도 3차원 센서(100)는 저해상도 3차원 거리영상을 획득하며, 고해상도 2차원 영상카메라(200)는 고해상도 2차원 영상을 획득한다. 저해상도 3차원 거리영상 및 고해상도 2차원 영상은 3차원 모델 생성부(300)로 입력된다.
다음으로, 단계 S53에서, 3차원 모델 생성부(300)는 저해상도 3차원 거리영상과, 고해상도 2차원 영상에 기초하여 고해상도 3차원 거리영상을 생성한다. 단계 S53에 대하여는 이후 도 6을 참조하여 보다 상세하게 후술될 것이다. 단계 S54에서, 3차원 모델 생성부(300)는 단계 S53에서 생성된 고해상도 3차원 거리영상에 고해상도 2차원 영상의 색상 정보를 추가하여 고해상도 및 고화질의 3차원 모델을 생성한다. 단계 S55에서, 디스플레이부(500)는 3차원 모델 생성부(300)에 의해 생성된 고해상도 및 고화질의 3차원 모델을 디스플레이한다.
도 6은 도 5에 도시된 단계 S53의 예시적인 흐름도이다. 도 4 및 도 6을 참조하면, 먼저, 단계 S61에서 등록부(321)는 저해상도 3차원 센서(100)와 고해상도 2차원 영상카메라(200) 간의 3차원 변환관계에 기초하여 저해상도 3차원 거리영상과, 고해상도 2차원 영상을 공통의 좌표계로 변환하여 등록한다.
예를 들어 2개의 저해상도 3차원 센서에 의해 획득된 2개의 저해상도 3차원 거리영상을 각각 D1(x,y), D2(x,y)라고 할 때, 이들 3차원 거리영상은 영상의 좌표 (x,y)에 대하여 물체(피사체)까지의 거리값을 3차원 좌표 (X,Y,Z)t로 저장하고 있다. 여기서 t는 행렬의 트랜스포즈(transpose)이다.
등록부(321)는 예를 들어 아래의 수학식 1에 따라, 도 2에 도시된 저해상도 3차원 센서들(100a,100b) 중의 제2 저해상도 3차원 센서(100b)에 의해 획득된 제2 저해상도 3차원 거리영상 D2(x,y)을, 3차원 센서들(100a,100b) 간의 3차원 기하보정의 결과로서 산출된 3차원 변환관계 T12를 이용하여, 제1 저해상도 3차원 센서(100a)에 의해 획득된 제1 3차원 거리영상 D1(x,y)의 좌표계로 변환하여 등록함으로써, 모든 3차원 센서(100a,100b)를 공통 좌표계로 통일시킬 수 있다.
[수학식 1]
Figure 112012109006913-pat00001
수학식 1에서 D'2(x,y)는 D2(x,y)를 제1 저해상도 3차원 센서(100a)의 좌표계로 변환하여 등록한 3차원 거리영상을 나타낸다. 이와 같이, 2개의 저해상도 3차원 거리영상 D1(x,y), D2(x,y)을 공통의 좌표계로 등록하는 과정을 수행하며, 3차원 거리영상의 등록의 결과로서 D1(x,y)과, D'2(x,y)가 생성된다.
예를 들어, 도 2에 도시된 저해상도 3차원 센서들(100a,100b) 중, 제1 저해상도 3차원 센서(100a)와 제2 저해상도 3차원 센서(100b) 사이의 3차원 변환관계를 T12이라 하고, 제1 저해상도 3차원 센서(100a)와 고해상도 2차원 영상카메라(200) 사이의 3차원 변환관계를 T13이라 하고, 제1 저해상도 3차원 센서(100a)와 제2 저해상도 3차원 센서(100b), 그리고 고해상도 영상카메라(200)의 좌표계를 각각 O1, O2, O3라고 할 때, 등록부(321)는 예를 들어 아래의 수학식 2에 따라 제2 저해상도 3차원 센서(100b)의 좌표계와 고해상도 2차원 영상카메라(200)의 좌표계를 제1 저해상도 3차원 센서(100a)의 좌표계로 변환할 수 있다.
[수학식 2]
Figure 112012109006913-pat00002
수학식 2에서 O'2, O'3는 각각 O2, O3 좌표계가 O1의 좌표계로 변환된 결과이다.
다시 도 6을 참조하면, 단계 S62에서 투영점 산출부(322)는 등록된 저해상도 3차원 거리영상, 저해상도 3차원 거리영상의 2차원 텍스쳐 영상(제1 텍스쳐 영상) 및 고해상도 2차원 텍스쳐 영상(제2 텍스쳐 영상)을 이용하여, 제1 텍스쳐 영상에서 제2 텍스쳐 영상의 각 2차원 영상점에 대응하는 투영점을 산출한다.
도 7은 도 6에 도시된 단계 S62의 예시적인 흐름도이다. 도 8은 도 6에 도시된 단계 S62를 설명하기 위한 개념도이다. 도 4, 도 6 내지 도 8을 참조하면, 먼저 단계 S71에서 투영점 산출부(322)는 고해상도 2차원 영상의 영상점을 포함하는 투영선을 산출한다. 예를 들어, 도 2에 도시된 2개의 저해상도 3차원 센서(100a,100b)에 의해 획득된 제1 및 제2 저해상도 3차원 거리영상을 각각 D1(x,y), D2(x,y)라 하고, 제1 및 제2 저해상도 2차원 텍스쳐 영상을 각각 I1(x,y)(도 8의 도면부호 83)과 I2(x,y)(도 8의 도면부호 84)라 하고, 2차원 영상카메라(200)에서 획득한 고해상도 2차원 텍스쳐 영상을 I3(x,y)(도 8의 도면부호 81)라 할 때, 2개의 저해상도 3차원 거리영상 D1(x,y), D2(x,y)의 등록이 수행된 후, 고해상도 2차원 텍스쳐 영상(81)의 각 2차원 영상점 qH에 대응하여, 2차원 영상점 qH을 3차원 공간으로 투영한 투영선(811)을 예를 들어 아래의 수학식 3에 따라 산출할 수 있다.
[수학식 3]
Figure 112012109006913-pat00003
수학식 3에서 Rq는 투영선을 나타내며, λ는 투영선의 3차원 기울기를 나타내며, O'3는 제1 저해상도 3차원 센서(100a)의 3차원 좌표계로 변환된 2차원 영상카메라(200)의 좌표계 원점을 나타낸다. 따라서, Rq는 공통 좌표계로 표현되는 3차원 직선으로 볼 수 있다.
다음으로, 단계 S72에서 투영점 산출부(322)는 등록된 저해상도 3차원 거리영상{D1(x,y) 및 D'2(x,y)}(82)으로부터 투영선(811)에 의하여 교차되는 3차원 교점을 찾는다. 즉, 투영점 산출부(322)는 고해상도 2차원 텍스쳐 영상(81)의 각 2차원 영상점 qH에 대응하여 생성된 3차원 공간의 투영선 Rq(811)을 이용하여, 2차원 영상카메라(200)와 같은 좌표계로 표현되는 등록된 3차원 거리영상(82)과의 3차원 교점 QL을 구할 수 있다.
투영선 Rq(811)에 대응하는 3차원 교점은, 예를 들어 2개의 저해상도 3차원 거리영상으로부터 등록된 3차원 거리영상의 배치관계에 따라서, 한 개 또는 두 개 이상 발생할 수 있다. 예를 들어 등록된 제1 3차원 거리영상 D1(x,y)과 등록된 제2 3차원 거리영상 D'2(x,y) 모두에서 투영선 Rq과의 3차원 교점이 발생하는 경우, 두 3차원 교점을 각각 Q1 L과 Q2 L로 표현할 수 있다.
다음으로, 단계 S73에서 투영점 산출부(322)는 저해상도 3차원 센서(100a,100b)의 투영변환 행렬을 이용하여, 3차원 교점 Q1 L과 Q2 L을 제1 저해상도 3차원 거리영상의 2차원 텍스쳐 영상 I1(x,y)(83)과, 제2 저해상도 3차원 거리영상의 2차원 텍스쳐 영상 I2(x,y)(84)에 투영하여, 투영점 q1 L 및 q2 L을 산출한다.
이때, 두 3차원 교점 Q1 L 및 Q2 L를 저해상도 3차원 거리영상의 2차원 텍스쳐 영상으로 투영하기 위하여 투영변환 행렬을 필요로 하는데, 이는 3차원 센서의 보정(calibration) 과정에서 획득할 수 있다. 제1 및 제2 저해상도 3차원 센서의 투영변환 행렬을 각각 M1, M2라 하면, 예를 들어 아래의 수학식 4에 따라 저해상도 3차원 거리영상의 2차원 텍스쳐 영상에 투영된 2차원 투영점 q1 L, q2 L을 산출할 수 있다.
[수학식 4]
Figure 112012109006913-pat00004
수학식 4에서 부호 '
Figure 112012109006913-pat00005
'는 동질적(homogeneous)인 측면에서 같음을 표현한다.
등록된 3차원 거리영상의 두 3차원 교점 Q1 L, Q2 L과 이들의 투영점 q1 L, q2 L은 각각 동일한 직선 위에 놓여있다. 도 8에서 도면부호 831, 841은 각각 Q1 L과 q1 L을 연결하는 직선, 그리고 Q2 L과 q2 L을 연결하는 직선을 표시한다.
다시 도 4 및 도 6을 참조하면, 단계 S63에서 영상 정합부(323)는 2차원 영상점과 2차원 투영점에 기초하여, 고해상도 2차원 텍스쳐 영상(제2 텍스쳐 영상)과 저해상도 3차원 거리영상의 2차원 텍스쳐 영상(제1 텍스쳐 영상) 간에 영상 정합을 수행함으로써, 최종적으로 제1 텍스쳐 영상에서 제2 텍스쳐 영상의 2차원 영상점에 대응하는 2차원 대응점을 결정한다. 즉, 영상 정합부(323)는 제1 텍스쳐 영상의 2차원 투영점 주변의 후보점들 중에서, 제1 텍스쳐 영상의 기준점(2차원 영상점)과 동일한 영상점(2차원 대응점)을 찾기 위한 2차원 영상 정합(matching)을 수행한다.
도 9는 도 6에 도시된 단계 S63을 설명하기 위한 개념도이다. 도 9에서는 고해상도 2차원 텍스쳐 영상(81)과 하나의 저해상도 2차원 텍스쳐 영상 I1(x,y)(83) 사이에서 동일한 영상점을 정합하는 방법을 보여주고 있다. 도 4, 도 6 및 도 9를 참조하면, 두 2차원 텍스쳐 영상 간의 정합을 위해, 영상 정합부(323)는 우선 제1 텍스쳐 영상 I1(x,y)으로 투영된 2차원 투영점 q1 L을 1차 후보점으로 두고, 1차 후보점 주변에서 가장 정합오차가 작은 2차원 대응점 q1 L'을 찾을 수 있다.
일 실시 예에 있어서, 정합 오차는 비교하려는 2차원 영상점 qH 및 2차원 후보점 q1 L을 중심으로 정합 블록을 설정하고, 블록 간의 영상 정합 오차를 측정함으로써 수행될 수 있다. 2차원 영상점 qH 및 2차원 후보점 q1 L을 중심으로 하는 정합 블록은 예를 들어 정방형 모양의 정합창(matching window)으로 설정될 수 있다. 예를 들면, 고해상도 2차원 텍스쳐 영상(81)의 기준점(2차원 영상점) qH를 중심에 둔 영상창은 아래의 수학식 5와 같이 설정될 수 있다.
[수학식 5]
Figure 112012109006913-pat00006
수학식 5에서, qH _x와 qH _y는 각각 2차원 기준점 qH의 X축 방향 좌표와, Y축 방향의 좌표를 나타내며, W는 블록 영상 정합을 위한 정합창의 크기를 나타낸다.
도 9의 도면부호 813, 833은 각각 제2 텍스쳐 영상(81)의 2차원 영상점(기준점)과, 제1 텍스쳐 영상(83)의 2차원 후보점(투영점)을 중심으로 두고 생성한 영상창(정합창)을 나타낸다. 기준점을 중심으로 하는 정합창(813)은 고정되어 있으며, 저해상도의 2차원 텍스쳐 영상(제1 텍스쳐 영상)(83)에서 2차원 대응점을 찾기 위한 정합창(833)은 최초 투영된 2차원 후보점 q1 L을 중심으로 결정된다.
그리고 최초 투영된 2차원 후보점의 주변 영역을 탐색하여 정합 오차를 측정하고, 최소 오차를 가지는 대응점 q1 L'을 찾는다. 두 정합창(813,833)의 크기가 동일하다고 가정할 때 정합오차 ε는 예를 들어 아래의 수학식 6에 따라 산출할 수 있다.
[수학식 6]
Figure 112012109006913-pat00007
수학식 6과 같이, 영상 정합을 통해 고해상도 2차원 텍스쳐 영상(81)의 기준점 qH와, 후보점 q1 L의 주변 영역을 탐색하여, 후보점들 중 최소의 정합 오차가 발생하는 후보점 q1 L'을 2차원 영상점(기준점)에 대응하는 2차원 대응점으로 결정한다.
후보점의 주변부를 탐색할 때, 3차원 센서와 영상카메라 사이의 보정관계를 알고 있다면 에피폴라(epipolar) 직선 위에서만 대응점을 탐색하는 것이 가능하다. 도 9에서 도면부호 814, 834는 대응점 탐색을 고속으로 구현하기 위한 에피폴라 직선을 나타낸다. 한편, 제2 저해상도 3차원 센서(100b)의 2차원 텍스쳐 영상 I2(x,y)(84)으로 투영된 다른 투영점 q2 L 주변에서도 동일한 정합 방법으로 2차원 대응점 q2 L'을 구할 수 있다.
다시 도 4 및 도 6을 참조하면, 단계 S64에서 3차원 형상 정보 생성부(324)는 2차원 대응점의 좌표값을 이용하여 삼각 측량법에 의해 2차원 영상점에 대응하는 3차원 좌표값을 산출함으로써 고해상도 3차원 거리영상을 생성한다. 즉, 3차원 형상 정보 생성부(324)는 삼각 측량법에 의하여 고해상도 2차원 텍스쳐 영상의 각 2차원 영상점에서 3차원 좌표 (X,Y,Z)t로 표현되는 3차원 거리값 QH을 구할 수 있다. 여기서 t는 행렬의 트랜스포즈(transpose)를 나타낸다. 고해상도 2차원 텍스쳐 영상의 2차원 영상점(기준점) qH과, 이에 대응하는 저해상도 2차원 텍스쳐 영상의 2차원 대응점 q1 L'의 2차원 영상 좌표가 각각 (qH _x,qH _y), (q1 L _ x', q1 L _ y')일 때, 고해상도 2차원 텍스쳐 영상의 각 2차원 영상점 qH에 대한 3차원 거리값 QH는 예를 들어 아래의 수학식 7에 따라 산출할 수 있다.
[수학식 7]
Figure 112012109006913-pat00008
수학식 7에서 b는 고해상도 2차원 영상카메라(200)와 저해상도 3차원 센서(100)의 좌표계의 원점 사이의 거리(베이스라인 거리)를 나타내며, f는 2차원 영상카메라(200)의 초점 거리를 나타낸다.
고해상도 2차원 텍스쳐 영상의 모든 영상점 qH에 대하여 해당하는 3차원 좌표 QH를 계산함으로써, 고해상도 3차원 거리영상 D3(x,y)을 생성하는 단계를 완료할 수 있다.
3차원 모델 생성부(300)는 생성한 고해상도 3차원 거리영상 D3(x,y)의 각 3차원 점 QH의 3차원 좌표정보에 컬러 정보를 추가함으로써 고해상도 및 고화질의 3차원 모델을 생성할 수 있다. 고해상도 3차원 거리영상의 3차원 점 QH의 컬러 정보는, 고해상도 2차원 텍스쳐 영상 I3(qH _x,qH _y)에서 3차원 점 QH에 대응되는 2차원 영상점 qH의 컬러 정보 (R,G,B)로부터 가져올 수 있으며, 3차원 점 QH에 대하여 3차원 좌표와 컬러 정보를 3차원 파일 포맷으로 저장함으로써 최종적으로 고해상도 및 고화질의 3차원 모델을 생성할 수 있다.
도 6 내지 도 7에 도시된 실시 예에 따른 3차원 스캐닝 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있으나, 이에 제한되지는 않는다. 또한, 상기 컴퓨터로 읽을 수 있는 기록매체는 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
10: 3차원 스캐닝 장치 100,100a,100b: 3차원 센서
200: 2차원 영상카메라 300: 3차원 모델 생성부
310: 입력부 320: 영상 프로세서
321: 등록부 322: 투영점 산출부
323: 영상 정합부 324: 3차원 형상 정보 생성부
325: 색상 처리부 330: 출력부
340: 저장부 400: 사용자 인터페이스부
500: 디스플레이부 600: 피사체

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 3차원 거리영상을 획득하는 하나 이상의 3차원 센서;
    상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 2차원 영상카메라; 그리고
    상기 3차원 거리영상과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함하며,
    상기 3차원 모델 생성부는,
    상기 3차원 거리영상을 공통 좌표계로 변환하여 등록하는 등록부;
    상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 투영점 산출부;
    상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 영상 정합부; 그리고
    상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 3차원 형상 정보 생성부를 포함하는 3차원 스캐닝 장치.
  5. 제4 항에 있어서,
    상기 투영점 산출부는 상기 3차원 센서의 투영변환 행렬을 이용하여 상기 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾으며,
    상기 투영변환 행렬은 상기 3차원 센서의 내부 파라메터를 보정하는 과정을 통해 산출되는 3차원 스캐닝 장치.
  6. 제4 항에 있어서,
    상기 영상 정합부는,
    상기 투영점에 기초하는 상기 3차원 센서와 상기 2차원 영상카메라 간의 에피폴라 직선상에서 후보점들을 결정하고, 각 후보점을 포함하는 소정의 크기의 영상 블록과, 상기 2차원 영상의 상기 영상점을 포함하는 소정의 크기의 영상 블록 간의 정합 오차를 산출하며, 상기 후보점들 중 상기 정합 오차가 최소값으로 산출되는 후보점을 상기 2차원 대응점으로 결정하는 3차원 스캐닝 장치.
  7. 제4 항에 있어서,
    상기 3차원 형상 정보 생성부는,
    상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 영상점의 상기 X축 좌표값의 비에 기초하여 상기 3차원 좌표값의 X축 좌표값을 산출하고,
    상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 영상점의 Y축 좌표값의 비에 기초하여 상기 3차원 좌표값의 Y축 좌표값을 산출하고,
    상기 영상점의 X축 좌표값과 상기 2차원 대응점의 X축 좌표값 간의 차이값에 대한, 상기 2차원 영상카메라의 초점 거리의 비에 기초하여 상기 3차원 좌표값의 Z축 좌표값을 산출하는 3차원 스캐닝 장치.
  8. 제4 항에 있어서,
    상기 3차원 모델 생성부는,
    상기 고해상도 3차원 거리영상에 상기 2차원 영상의 색상 정보를 추가하는 색상 처리부를 더 포함하는 3차원 스캐닝 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 서로 다른 시점에서 피사체에 대한 3차원 거리영상을 획득하는 복수 개의 3차원 센서;
    상기 피사체에 대하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 2차원 영상카메라; 그리고
    상기 3차원 거리영상과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 3차원 모델 생성부를 포함하고,
    상기 3차원 모델 생성부는,
    상기 복수 개의 3차원 센서에 의하여 서로 다른 시점에서 획득된 3차원 거리영상들을 등록하되, 상기 3차원 거리영상들 중 하나 이상의 3차원 거리영상을, 상기 복수 개의 3차원 센서 간의 3차원 변환관계에 기초하여 공통 좌표계로 변환하여 등록하는 등록부;
    상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상들 중에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 교점이 존재하는 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 투영점 산출부;
    상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 영상 정합부; 그리고
    상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 3차원 형상 정보 생성부를 포함하는 3차원 스캐닝 장치.
  13. 삭제
  14. 삭제
  15. 3차원 거리영상과, 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 합성하여, 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 단계를 포함하고,
    상기 고해상도 3차원 거리영상을 생성하는 단계는,
    상기 3차원 거리영상을 공통 좌표계로 변환하여 등록하는 단계;
    상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 교점으로부터 투영된 투영점을 찾는 단계;
    상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 단계; 그리고
    상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 단계를 포함하는 3차원 스캐닝 방법.
  16. 제15 항에 있어서,
    상기 2차원 대응점을 결정하는 단계는,
    상기 투영점에 기초하는 에피폴라 직선상에서 후보점들을 결정하고, 각 후보점을 포함하는 소정의 크기의 영상 블록과, 상기 2차원 영상의 상기 영상점을 포함하는 소정의 크기의 영상 블록 간의 정합 오차를 산출하는 단계; 그리고
    상기 후보점들 중 상기 정합 오차가 최소값으로 산출되는 후보점을 상기 2차원 대응점으로 결정하는 단계를 포함하는 3차원 스캐닝 방법.
  17. 삭제
  18. 제15 항 또는 제16 항에 기재된 방법을 실행하는 프로그램을 기록한 컴퓨터에서 읽을 수 있는 기록매체.
  19. 삭제
  20. 복수 개의 3차원 센서가 서로 다른 시점에서 피사체에 대한 3차원 거리영상들을 획득하는 단계;
    2차원 영상카메라가 상기 피사체에 대하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 2차원 영상을 획득하는 단계; 그리고
    상기 3차원 거리영상들과, 상기 2차원 영상을 합성하여 상기 3차원 거리영상의 해상도보다 높은 해상도를 갖는 고해상도 3차원 거리영상을 생성하는 단계를 포함하고,
    상기 3차원 거리영상을 생성하는 단계는,
    상기 복수 개의 3차원 센서에 의하여 서로 다른 시점에서 획득된 3차원 거리영상들을 등록하되, 상기 3차원 거리영상들 중 하나 이상의 3차원 거리영상을, 상기 복수 개의 3차원 센서 간의 3차원 변환관계에 기초하여 공통 좌표계로 변환하여 등록하는 단계;
    상기 2차원 영상의 영상점에 기초하여 투영선을 산출하고, 등록된 3차원 거리영상들 중에서 상기 투영선이 교차되는 3차원 교점을 찾고, 상기 3차원 교점이 존재하는 3차원 거리영상의 텍스쳐 영상에서 상기 3차원 센서의 투영변환 행렬을 이용하여 상기 3차원 교점으로부터 투영된 투영점을 찾는 단계;
    상기 영상점 및 상기 투영점에 기초하여 상기 2차원 영상과 상기 텍스쳐 영상 간의 영상 정합을 수행함으로써, 상기 텍스쳐 영상에서 상기 2차원 영상의 상기 영상점에 대응하는 2차원 대응점을 결정하는 단계; 그리고
    상기 2차원 대응점의 좌표값에 기초하여 삼각 측량법을 이용하여 상기 2차원 영상의 각 영상점에 대응하는 3차원 좌표값을 산출함으로써 상기 고해상도 3차원 거리영상을 생성하는 단계를 포함하는 3차원 스캐닝 방법.
KR1020120156266A 2012-12-28 2012-12-28 3차원 스캐닝 장치 및 3차원 스캐닝 방법 KR101424118B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120156266A KR101424118B1 (ko) 2012-12-28 2012-12-28 3차원 스캐닝 장치 및 3차원 스캐닝 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120156266A KR101424118B1 (ko) 2012-12-28 2012-12-28 3차원 스캐닝 장치 및 3차원 스캐닝 방법

Publications (2)

Publication Number Publication Date
KR20140086139A KR20140086139A (ko) 2014-07-08
KR101424118B1 true KR101424118B1 (ko) 2014-08-13

Family

ID=51735483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120156266A KR101424118B1 (ko) 2012-12-28 2012-12-28 3차원 스캐닝 장치 및 3차원 스캐닝 방법

Country Status (1)

Country Link
KR (1) KR101424118B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880938B1 (ko) 2017-08-02 2018-07-23 모강우 Wi-Fi를 이용한 멀티 포토 스캐닝 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR20140086139A (ko) 2014-07-08

Similar Documents

Publication Publication Date Title
JP5029618B2 (ja) パターン投影法による３次元形状計測装置、方法およびプログラム
TWI607412B (zh) 多維度尺寸量測系統及其方法
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
JP4371130B2 (ja) 画像のセットから合成画像を生成するための方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US11290704B2 (en) Three dimensional scanning system and framework
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP5210203B2 (ja) 画像の差分による高精度ステレオカメラキャリブレーション
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
JP2007309660A (ja) ３次元形状測定装置におけるキャリブレーション方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
Zhou et al. A two-step calibration method of lenslet-based light field cameras
Yang et al. Flexible and accurate implementation of a binocular structured light system
JP2018189637A (ja) カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム
Wilm et al. Accurate and simple calibration of DLP projector systems
Van Crombrugge et al. Extrinsic camera calibration for non-overlapping cameras with Gray code projection
JP2020042503A (ja) 三次元表象生成システム
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
Castellani et al. A complete system for on-line 3D modelling from acoustic images
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP7038315B2 (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
KR101424118B1 (ko) 3차원 스캐닝 장치 및 3차원 스캐닝 방법
JP6545033B2 (ja) 三次元温度分布表示装置
Tran et al. Accurate RGB-D camera based on structured light techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 6