KR101126626B1 - 광역 3차원 복원을 위한 시스템 및 방법 - Google Patents

광역 3차원 복원을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101126626B1
KR101126626B1 KR1020100018433A KR20100018433A KR101126626B1 KR 101126626 B1 KR101126626 B1 KR 101126626B1 KR 1020100018433 A KR1020100018433 A KR 1020100018433A KR 20100018433 A KR20100018433 A KR 20100018433A KR 101126626 B1 KR101126626 B1 KR 101126626B1
Authority
KR
South Korea
Prior art keywords
laser
motion
cameras
laser sensor
reconstruction
Prior art date
Application number
KR1020100018433A
Other languages
English (en)
Other versions
KR20110099431A (ko
Inventor
복윤수
권인소
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100018433A priority Critical patent/KR101126626B1/ko
Publication of KR20110099431A publication Critical patent/KR20110099431A/ko
Application granted granted Critical
Publication of KR101126626B1 publication Critical patent/KR101126626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 제1 및 제2 레이저 센서, 상기 제1 및 제2 레이저 센서의 좌우에 각각 배치되는 제1 내지 제4 카메라, 상기 제1 내지 제4 카메라로부터의 영상과 상기 제1 및 제2 레이저 센서에 의한 레이저 점의 움직임을 이용하여 3차원 복원을 수행하는 3차원 복원 장치를 포함하되, 상기 제1 레이저 센서와 제1 및 제2 카메라가 한 세트가 되고, 상기 제2 레이저 센서와 제3 및 제4 카메라가 한 세트가 되어 두 세트가 직각으로 배치되고, 상기 3차원 복원 장치가 상기 제1 내지 제4 카메라를 통해 획득된 영상에 상기 레이저 센서에 의한 레이저 점을 투영 및 트래킹하여 움직임을 추정하고, 상기 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행하는 것으로, 2차원 레이저 센서와 카메라로부터 얻은 데이터를 융합하여 시스템의 이동 경로 및 주변 환경의 3차원 복원을 정확하게 수행할 수 있다.

Description

광역 3차원 복원을 위한 시스템 및 방법{System and Method for large-scale 3D reconstruction}
본 발명은 광역 3차원 복원을 위한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 2개의 2D 레이저 센서, 각 레이저 센서의 좌우에 각각 직각으로 배치되어 있는 4개의 카메라, 각 레이저 센서로부터의 레이저 데이터와 각 카메라로부터의 영상을 이용하여 상기 레이저 센서의 움직임을 추정하고, 그 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행하는 3차원 복원 장치로 구성된 광역 3차원 복원을 위한 시스템 및 방법에 관한 것이다.
레이저 비전 시스템이란 현재 생산 현장에서 이루어지고 있는 물체의 3차원 정보 측정을 접촉식 및 인력에 의한 것이 아니라 3차원 레이저 센서 또는 CCD 카메라 등의 비접촉식 센서를 이용하여 필요한 정보를 검출 및 측정하는 시스템을 말한다. 더 나아가 인력으로 측정할 수 없는 작업 환경 속에서도 비전 레이저 시스템이 도입되고 있어 제품의 신뢰도와 생산성을 높여주고 있다.
몇 해 전부터 작은 물체의 3차원 복원을 위한 연구는 계속 되고 있으나, 외부 환경을 대상 물체로 하여 3차원 복원을 위한 연구는 이루어지고 있지 않고 있다.
3차원 복원을 위한 연구는 여러 개의 카메라를 이용하여 서로 다른 위치의 많은 영상을 획득하는 방법이 있다.
그러나 카메라 기반 방법은 대상 환경을 제대로 복원할 수 없으므로, 레이저 센서를 이용하여 3차원 복원을 연구가 수행되고 있다.
레이저 센서를 이용한 가장 유명한 연구는 바이욘(bayon) 사원의 복원이다. 이 연구는 3D 레이저 센서에 의해서 스캔된 데이터를 누적함으로써 이루어진다.
그러나 상기와 같은 종래에는 고가의 3차원 레이저 센서를 이용해야 하므로 그 비용이 많이 드는 단점이 있다.
또한, 종래의 3차원 복원을 위한 시스템은 상당히 크고 무겁거나 복원 가능한 환경에 대한 가정이 있는 등 제약이 많은 단점이 있다.
본 발명의 목적은 2차원 레이저 센서와 카메라를 사용하여 외부 환경의 3차원 복원이 가능한 광역 3차원 복원을 위한 시스템 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 적용 가능한 환경에 대한 가정이 없고 사람이 손으로 들고 다닐 수 있을 정도의 이동성을 갖추어 대상 환경 내에서 자유롭게 움직이면서 정확한 3차원 복원의 수행이 가능한 광역 3차원 복원을 위한 시스템 및 방법을 제공하는데 있다.
상기 목적들을 달성하기 위하여 본 발명에 따르면, 제1 및 제2 레이저 센서, 상기 제1 및 제2 레이저 센서의 좌우에 각각 배치되는 제1 내지 제4 카메라, 상기 제1 내지 제4 카메라로부터의 영상과 상기 제1 및 제2 레이저 센서에 의한 레이저 점의 움직임을 이용하여 3차원 복원을 수행하는 3차원 복원 장치를 포함하되, 상기 제1 레이저 센서와 제1 및 제2 카메라가 한 세트가 되고, 상기 제2 레이저 센서와 제3 및 제4 카메라가 한 세트가 되어 두 세트가 직각으로 배치된 것을 특징으로 하는 광역 3차원 복원을 위한 시스템이 제공된다.
상기 제1 및 제2 레이저 센서는 2차원(2D)이고, 스캐닝 평면의 깊이 정보를 제공한다.
또한, 상기 제1 및 제2 레이저 센서는 90도 차이로 배치되어 각각 270도를 스캔하고, 서로 반대 방향으로 향하는 카메라가 각 레이저 센서가 스캔하는 영역을 촬영한다.
상기 제1 내지 제4 카메라는 각 레이저 센서의 45도 또는 225도 방향을 향하여 각 레이저 센서가 스캔하는 영역을 촬영한다.
상기 3차원 복원 장치는 카메라-레이저 보정(calibration)을 통해 레이저 점들의 카메라 좌표계에서의 위치를 확인한다.
또한, 상기 3차원 복원 장치는 상기 제1 내지 제4 카메라를 통해 획득된 영상에 상기 레이저 센서에 의한 레이저 점을 투영 및 트래킹하여 움직임을 추정하고, 상기 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행한다.
상기 3차원 복원 장치는 각 레이저 센서가 패턴 평면의 가장 자리에 다른 평면을 추가하여 스캔한 레이저 데이터에 대해 라인 피팅을 수행하여 에지 점(edge point)를 추출하고, 그 에지 점을 근거로 각 카메라와 레이저 센서간의 상대적인 위치를 측정하여 레이저 점의 위치를 정하는 카메라-레이저 보정부, 상기 레이저 점을 상기 제1 내지 제4 카메라를 통해 획득된 영상에 투영 및 다중 프레임 트래킹을 수행하여 움직임을 추정하는 움직임 추정부, 상기 움직임 추정부에서 추정된 움직임과 상기 레이저 센서에 의한 모든 레이저 데이터를 이용하여 3차원 복원을 수행하는 3차원 복원부를 포함한다.
상기 3차원 복원 장치는 사용자가 지정한 위치에 해당하는 영상을 3차원 영상으로 생성하여 디스플레이 되도록 하는 3차원 영상 생성부를 더 포함할 수 있다.
상기 움직임 추정부는 연속된 두 프레임 사이의 움직임의 초기값을 계산하고, 각각 계산된 움직임을 여러 장에 걸쳐서 누적하여 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임의 정확도를 높인다.
상기 움직임 추정부에서 연속된 두 프레임 사이의 움직임의 초기값은 generalized 3-point를 이용하여 추정한다.
상기 3차원 복원부는 상기 레이저 센서에 의해 획득된 레이저 데이터를 상기 계산된 움직임을 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행한다.
또한, 본 발명에 따르면, 제1 및 제2 레이저 센서, 상기 제1 및 제2 레이저 센서의 좌우에 각각 직각으로 배치되어 있는 제1 내지 제4 카메라, GPS 위치 정보를 측정하는 GPS 수신기, 상기 제1 및 제2 레이저 센서에 의한 레이저 점의 움직임을 추정하고, 상기 GPS 수신기로부터의 GPS 위치 정보를 이용하여 상기 추정된 움직임을 보정한 후, 상기 보정된 움직임과 상기 제1 내지 제4 카메라로부터의 영상을 이용하여 3차원 복원을 수행하는 3차원 복원 장치를 포함하되, 상기 제1 레이저 센서와 제1 및 제2 카메라가 한 세트가 되고, 상기 제2 레이저 센서와 제3 및 제4 카메라가 한 세트가 되어 두 세트가 직각으로 배치된 것을 특징으로 하는 광역 3차원 복원을 위한 시스템이 제공된다.
상기 3차원 복원 장치는 상기 추정된 움직임을 상기 GPS 수신기로부터의 위치 정보와 대응하는 프레임에서 나누어 여러 개의 로컬 파트(local part)를 생성하고, 이를 GPS 위치 정보와 정합하여 서로 연결된 로컬 파트의 끝점을 하나로 만든 후, 상기 추정된 움직임을 보정한다.
또한, 본 발명에 따르면, (a)카메라를 통해 획득된 영상에 레이저 센서의 레이저 점을 투영하는 단계, (b)상기 레이저 점을 다중 프레임 트래킹하여 움직임을 추정하는 단계, (c)상기 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행하는 단계를 포함하는 광역 3차원 복원을 위한 방법이 제공된다.
상기 (a)단계 이전에, 카메라-레이저 보정(calibration)을 통해 레이저 점의 카메라 좌표계에서의 위치를 확인하는 단계를 더 포함하는 광역 3차원 복원을 위한 방법이 제공된다.
상기 (b)단계는, 연속된 두 프레임을 사용하여 상기 레이저 점의 초기 움직임을 계산하는 단계, 상기 계산된 초기 움직임을 바탕으로 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임 추정의 정확도를 향상시키는 단계를 포함한다.
상기 (c)단계는, 상기 레이저 센서에 의해 획득된 레이저 데이터를 상기 추정된 움직임을 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행한다.
상술한 바와 같이 본 발명에 따르면, 2차원 레이저 센서와 카메라로부터 얻은 데이터를 융합하여 시스템의 이동 경로 및 주변 환경의 3차원 복원을 정확하게 수행할 수 있다.
또한, 적용 가능한 환경에 대한 가정이 없고 사람이 손으로 들고다닐 수 있을 정도의 이동성을 갖추고 있기 때문에, 대상 환경 내에서 자유롭게 움직이면서 정확한 3차원 복원을 수행할 수 있다.
또한, 저렴한 센서들의 조합이기 때문에 고가의 3차원 레이저 센서를 대체하여 3차원 복원을 수행할 수 있다.
도 1은 본 발명에 따른 광역 3차원 복원을 위한 시스템을 나타낸 블럭도.
도 2는 본 발명에 따른 카메라와 레이저 센서의 장착 구조를 나타낸 도면.
도 3 및 도 4는 본 발명에 따른 레이저 센서와 카메라의 스캔 영역을 나타낸 도면.
도 5는 도 1에 도시된 3차원 복원 장치의 구성을 나타낸 블럭도.
도 6은 본 발명에 따른 3차원 복원 장치가 광역 3차원을 복원하는 방법을 나타낸 흐름도.
도 7은 본 발명에 따른 카메라-레이저 보정을 위한 방법을 나타낸 흐름도.
도 8은 본 발명에 따른 카메라-레이저 보정을 위한 제한 조건을 나타낸 예시도.
도 9는 본 발명에 따른 에지 포인트 검출 방법을 설명하기 위한 예시도.
도 10은 본 발명에 따른 보정 데이터의 예시도.
도 11은 본 발명에 따른 광역 3차원 복원을 위한 센서 시스템을 나타낸 블럭도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명에 따른 광역 3차원 복원을 위한 시스템을 나타낸 블럭도, 도 2는 본 발명에 따른 카메라와 레이저 센서의 장착 구조를 나타낸 도면, 도 3 및 도 4는 본 발명에 따른 레이저 센서와 카메라의 스캔 영역을 나타낸 도면, 도 5는 도 1에 도시된 3차원 복원 장치의 구성을 나타낸 블럭도이다.
도 1을 참조하면, 광역 3차원 복원을 위한 시스템은 2개의 레이저 센서(100), 각 레이저 센서(100)의 좌우에 각각 90도로 배치되어 있는 카메라(110), 각 레이저 센서(100)로부터의 레이저 데이터와 각 카메라(110)로부터의 영상을 이용하여 3차원 복원을 수행하는 3차원 복원 장치(120)를 포함한다.
상기 레이저 센서(100)는 2D(2차원)이고, 이는 스캐닝 평면의 깊이 정보만을 제공한다. 또한, 상기 레이저 센서(100)는 3차원 복원을 위해 3차원 공간에서 자유롭게 이동 가능하고, 센서의 움직임은 스캔 데이터를 누적함으로써 알 수 있다.
상기 카메라(110)는 영상(이미지)을 촬영하고, 상기 레이저 센서(100)는 해당 영역을 스캔하여 깊이 정보를 제공한다.
상기 레이저 센서(100)와 카메라(110)가 조합된 구조에 대하여 도 2를 참조하면, 레이저 센서 1개와 카메라 2개의 조합 2세트가 90도로 배치되어 있다.
즉, 제1 레이저 센서(100a)의 좌우에 제1 및 제2 카메라(110a, 110b)가 장착되어 1세트를 구성하고, 제2 레이저 센서(100b)의 좌우에 제3 및 제4 카메라(110c, 110d)가 장착되어 1세트를 구성한다.
조합 1세트에서 제1 레이저 센서(100a)는 도 3과 같이 270도를 스캔할 수 있으며, 서로 반대 방향으로 향하는 제1 및 제2 카메라(110a, 110b)가 제1 레이저 센서(100a)가 스캔하는 영역을 보고 있다. 즉, 제1 및 제2 카메라(110a, 110b)는 레이저 센서(100a)의 45도, 225도 방향을 향하고 있다. 제2 레이저 센서(100b)와 제3 및 제4 카메라(110c, 110d)의 조합 1세트도 같은 구조이다.
또한, 도 4와 같이 제1 및 제2 레이저 센서(100a, 100b)의 스캔 평면을 90도로 배치함으로써 360도에 가까운 시야를 확보할 수 있다.
그러므로, 제1 및 제2 레이저 센서(100a, 100b)와 제1 내지 제4 카메라(110a, 110b, 110c, 110d))의 조합으로 매우 와이드한 FOV(field of view)를 얻을 수 있다. 여기서, FOV는 다양한 방향의 다양한 환경을 관찰할 수 있도록 하고, 움직임을 추정하는데 정확성을 향상시킬 수 있다.
이때, 상기 카메라(110)와 레이저 센서(100)의 조합은 레이저 센서(100)간의 상대적인 위치를 조정하기 위해 좀더 정확한 보정(calibration,캘리브레이션)이 필요하다.
상기 3차원 복원 장치(120)는 카메라-레이저 보정을 통해 레이저 점들의 카메라 좌표계에서의 위치를 확인하고, 카메라(110)를 통해 획득된 영상에 레이저 점들을 투영한다. 그런 다음 상기 3차원 복원 장치(120)는 상기 레이저 점을 상기 영상 상에서 트래킹(tracking)하여 움직임을 추정하고, 그 추정된 움직임과 모든 레이저 데이터를 이용하여 3차원 복원을 수행한다.
상기 3차원 복원 장치(120)에 대하여 도 5를 참조하면, 3차원 복원 장치(120)는 카메라-레이저 보정부(122), 움직임 추정부(124), 3차원 복원부(126)를 포함한다.
상기 카메라-레이저 보정부(122)는 각 레이저 센서(100)가 패턴 평면의 가장 자리에 다른 평면을 추가하여 스캔한 레이저 데이터에 대해 라인 피팅을 수행하여 에지 점(edge point)를 추출하고, 그 에지 점을 근거로 각 카메라(110)와 레이저 센서(100)간의 상대적인 위치를 측정하여 레이저 점의 위치를 정한다.
상기 움직임 추정부(124)는 상기 카메라-레이저 보정부(122)에서 정한 레이저 점을 상기 제1 내지 제4 카메라(110a~110d)를 통해 획득된 영상에 투영 및 다중 프레임 트래킹을 수행하여 움직임을 추정한다.
즉, 상기 움직임 추정부(124)는 연속된 두 프레임 사이의 움직임 초기값을 계산하고, 각각 계산된 움직임을 여러 장에 걸쳐서 누적하여 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임의 정확도를 높인다.
이때, 상기 움직임 추정부(124)는 generalized 3-point를 이용하여 연속된 두 프레임 사이의 움직임 초기값을 계산한다.
상기 3차원 복원부(126)는 상기 움직임 추정부(124)에서 추정된 움직임과 레이저 센서에 의한 모든 레이저 데이터를 이용하여 3차원 복원을 수행한다. 즉, 상기 3차원 복원부(126)는 상기 레이저 센서(100)에 의해 획득된 레이저 데이터를 상기 계산된 움직임을 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행하게 된다.
본 발명의 다른 실시예에 따르면, 도면에는 도시하지 않았지만 상기 3차원 복원 장치(120)는 사용자가 지정한 위치에 해당하는 영상을 3차원 영상으로 생성하여 디스플레이 되도록 하는 3차원 영상 생성부를 더 포함할 수 있다.
상기 3차원 영상 생성부는 사용자가 원하는 지역 또는 위치를 선택하면, 그 지역에 해당하는 영상을 3차원 영상으로 생성하여 디스플레이되도록 한다.
즉, 상기 3차원 영상 생성부는 사용자가 임의의 위치를 선택하면, 상기 선택된 위치에 대한 주위 환경을 3차원 영상으로 생성하여 디스플레이되도록 한다.
상기와 같이 카메라(110)를 사용하여 레이서 센서(100)의 움직임을 측정하고, 카메라(110)로부터의 결과에 기반하여 일그러진 스캔 데이터를 복원할 수 있다.
상기와 같이 구성된 시스템은 적용 가능한 환경에 대한 가정이 없고 사람이 손으로 들고 다닐 수 있을 정도의 이동성을 갖추어 대상 환경 내에서 자유롭게 움직이면서 정확한 3차원 복원이 가능하다.
도 6은 본 발명에 따른 3차원 복원 장치가 광역 3차원을 복원하는 방법을 나타낸 흐름도이다.
도 6은 참조하면, 3차원 복원 장치는 카메라-레이저 보정(calibration)을 통해 레이저 점들의 카메라 좌표계에서의 위치를 확인한다(S600).
즉, 상기 3차원 복원 장치는 레이저 센서에 의한 레이저 데이터에서 평면의 가장자리를 스캔한 점을 추출하고, 그 점이 가장자리 선 위에 있다는 제한조건을 이용하여 보정을 수행한다. 이때, 상기 3차원 복원 장치는 카메라 좌표계에서 레이저 점들의 위치를 정확하게 계산하기 위해 패턴이 그려진 평면을 사용하고, 카메라 보정 결과의 투영 오차가 0.2 정도로 작기 때문에 계산 결과는 정확하다고 가정한다.
또한, 레이저 센서가 평면의 가장자리에 다른 평면을 추가하여 같이 스캔하면, 상기 3차원 복원 장치는 line fitting을 수행하고, 그 결과로 얻어진 직선의 교점을 찾아서 에지 점으로 추출한다. 그런 다음 상기 3차원 복원 장치는 상기 추출한 에지 점을 근거로 카메라 좌표계에서의 레이저 점의 위치를 확인한다.
상기 S600의 수행 후, 상기 3차원 복원 장치는 카메라를 통해 획득된 영상에 상기 레이저 센서의 레이저 점들을 투영한다(S602). 즉, 3차원 복원 장치는 4개의 카메라로부터 획득된 영상을 조합하고, 상기 조합된 영상에 레이저 센서의 레이저 점들을 투영한다.
그런 다음 상기 3차원 복원 장치는 상기 레이저 점들을 영상 상에서 트래킹하여 움직임을 추정한다(S604). 즉, 상기 3차원 복원 장치는 연속된 두 프레임을 사용하여 초기 움직임을 계산하는데, 이 결과로는 한 프레임의 레이저 데이터를 바로 인접한 프레임으로밖에 투영할 수 없다.
따라서, 상기 3차원 복원 장치는 다중 프레임 트래킹을 수행하여 움직임을 더욱 정확하게 계산한다. 즉, 연속된 여러 프레임에서 각각 계산된 움직임을 누적함으로써 레이저 데이터를 여러 장의 영상에 투영하고, 투영된 위치 부근에서 영상 텍스처를 이용하여 대응점을 검색한 다음 이를 이용하여 움직임을 보다 정확하게 계산한다.
여기서, 움직임 추정은 3차원 공간상의 점들과 이들의 영상 상에서의 위치를 3쌍 이상 알 경우 가능하다. 본 발명에서는 4대의 카메라가 포함되어 있기 때문에 generalized 3-point를 사용하여 움직임을 추정한다. 상기 generalized 3-point를 적용하기 위한 3D-2D 대응 관계는 카메라-레이저 보정 결과를 이용하여 카메라 좌표계로 이동한 레이저 점들과 다음 프레임의 영상 상에서의 이들의 위치이다.
따라서, 상기 3차원 복원 장치는 특정 프레임의 좌표계 상에서 표현된 3차원 점을 다른 프레임의 좌표계로 표현하는 변환관계를 이용하여 움직임을 계산한다.
트래킹이 잘못된 outlier들은 움직임의 초기값을 계산하는 과정에서 RANSAC(RANdom SAmple Consensus)으로 제거되고, 초기값이 계산된 다음에는 모든 inlier들의 투영 오차를 최소화하는 방향으로 최적화를 수행한다. 일반적으로 자연현상에서 데이터를 취할 경우 노이즈가 많이 포함되는데, 상기 RANSAC는 inliner와 outliner를 구분지어서 inliner만을 고려해서 함수를 추정하므로, 비선형 최적화를 처리할 수 있다. 비선형 최적화 처리는 널리 알려진 LM(Levenberg-Marquardt) 등의 방법을 사용한다.
이렇게 계산된 움직임을 바탕으로 다중 프레임 트래킹(multiple-frame tracking)을 수행한다. 상기 3차원 복원 장치가 레이저 점을 트래킹하기 위해 KLT 트래커를 사용한다. 상기 레이저 점은 영상에 투영되고, 인접 프레임까지 트래킹된다. 이 과정에 의해서, 3D-2D 대응 관계가 생성된다. 상기 레이저 점이 투영된 이미지는 다른 광학 센터를 가지는 다중 카메라에 의해 획득된다.
연속된 영상들 사이의 움직임을 누적하면 한 프레임의 레이저 점들을 여러 장의 영상으로 투영할 수 있다. 투영된 위치 부근에서 영상 텍스처를 이용하여 대응점을 검색하고, 이 결과를 이용하여 다시 한번 최적화를 수행한다. 이 최적화는 앞에서 계산한 초기값을 여러 프레임의 영상을 이용하여 더 정확하게 하기 위한 것이다.
상기 S604의 수행 후, 상기 3차원 복원 장치는 상기 추정된 움직임과 레이저 센서에 의한 모든 레이저 데이터를 이용하여 3차원 복원을 수행한다(S606). 즉, 상기 3차원 복원 장치는 상기 레이저 센서에 의해 획득된 레이저 데이터를 상기 계산된 움직임을 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행하게 된다.
도 7은 본 발명에 따른 카메라-레이저 보정을 위한 방법을 나타낸 흐름도, 도 8은 본 발명에 따른 카메라-레이저 보정을 위한 제한 조건을 나타낸 예시도, 도 9는 본 발명에 따른 에지 포인트 검출 방법을 설명하기 위한 예시도, 도 10은 본 발명에 따른 보정 데이터의 예시도이다.
도 7을 참조하면, 레이저 센서는 패턴 평면의 가장 자리에 다른 평면을 추가하여 스캔한다(S700). 여기에서, 카메라 좌표계에서의 평면의 위치를 정확하게 계산하기 위해 패턴이 그려진 평면을 사용한다.
상기 S700의 수행 후, 3차원 복원 장치는 상기 스캔한 레이저 데이터에 대해 라인 피팅(line fitting)을 수행하여 에지 점(edge point)를 추출한다(S702). 상기 카메라-레이저 보정을 위한 에지 점에 대하여 도 8을 참조하여 설명하기로 한다.
도 8을 참조하면, P1, P2, P3는 패턴 평면의 가장자리 선을 나타내는 것으로, 평면 삼각형을 이룬다. Q12, Q13은 레이저 데이터로부터 추출된 에지 점으로, 두 평면의 가장 자리에서 직선의 교차점이 된다. 상기 '경계선상의 점(에지 점임)'들은 수평변환의 애매성을 제거하고, 삼각 평면은 수평적인 애매성을 제거한다.
상기 에지 점은 패턴 평면의 가장자리와 레이저 스캔 라인간의 교차점으로, 레이저 센서에 의한 스캔 데이터로부터 추출된다.
상기 Q12가 직선 P1-P2 상에, Q13이 직선 P1-P3 상에 있어야 한다는 제한조건으로부터 다음과 같은 수학식 1, 2가 유도된다. 여기서, [RT]는 카메라와 레이저간의 상대적인 위치이다.
Figure 112010013189838-pat00001
Figure 112010013189838-pat00002
그리고, 레이저 좌표계를 y=0으로 설정함으로써 수학식 1은 수학식 3으로 변형된다.
Figure 112010013189838-pat00003
여기서,
Figure 112010013189838-pat00004
,
Figure 112010013189838-pat00005
는 R의 (i, j)번째 요소이다.
상기 수학식 3을 Ax=0 형태로 바꾸면, 수학식 4, 5로 변형된다.
Figure 112010013189838-pat00006
Figure 112010013189838-pat00007
상기 S702의 수행 후, 상기 3차원 복원 장치는 상기 수학식 3을 Ax=0 형태로 바꾸고 SVD(singular value decomposition)를 사용하여 초기 결과를 계산한 후(S704), LM(Levenberg-Marquardt algorithm)을 이용한 최적화를 수행하여 직선과 점 사이의 거리를 최소화한다(S706).
상기에 의해 3차원 복원 장치는 각 카메라와 레이저 센서간의 상대적인 위치를 구할 수 있다.
상기 SVD를 이용하여 각 카메라와 레이저 센서간의 상대적인 위치를 구하기 위해서, 최소한 5쌍의 포인트 라인이 필요한데, 패턴 평면을 사용한 카메라 보정은 최소한 3개의 이미지가 필요하고, 2쌍은 각 이미지로부터 생성된다. 그러므로, 최소 2개 이상의 이미지가 필요하다.
따라서, SVD를 이용하여 최초 결과를 계산한 후에 최적 솔루션을 찾고, 이때, cost function은 상기 추출한 에지 점과 라인간의 거리의 제곱 합이다.
상기와 같은 방법에 의해 카메라-레이저 보정을 수행하면, 도 10과 같다. 도 10을 참조하면, 사각 패턴 평면의 왼쪽과 탑 에지를 이용한 것이다. 이때, 두 개의 카메라는 레이저 센서에 연결되어 있고, 카메라-레이저 보정을 통해 각 카메라와 레이저 센서간의 상대적인 위치를 측정할 수 있다.
도 11은 본 발명에 따른 광역 3차원 복원을 위한 시스템을 나타낸 블럭도이다.
도 11을 참조하면, 광역 3차원 복원을 위한 시스템은 2개의 레이저 센서(1100), 각 레이저 센서(1100)와 각각 90도로 배치되어 있는 4개의 카메라(1110), 각 레이저 센서(1100)로부터의 레이저 데이터와 각 카메라(1110)로부터의 영상을 이용하여 3차원 복원을 수행하는 3차원 복원 장치(1120), GPS 위치 정보를 측정하는 GPS(global positioning system) 수신기(1130)를 포함한다.
상기 레이저 센서(1100), 카메라(1110)는 도 1과 같으므로 그 설명은 생략하기로 한다.
상기 GPS 수신기(1130)는 GPS 위치 정보를 상기 3차원 복원 장치(1120)에 제공한다. 그러면, 상기 3차원 복원 장치(1120)는 도 1에서 추정된 움직임을 상기 GPS 수신기(1130)로부터의 위치 정보와 대응하는 프레임에서 나누어 여러 개의 로컬 파트(local part)를 생성하고, 이를 GPS 위치 정보와 정합하여 상기 추정된 움직임을 보정한다.
상기 GPS 수신기(1130)를 사용함으로써, 짧은 구간의 추정 결과를 크게 변화시키지 않으면서 누적 오차를 줄일 수 있다.
이때, 정합에 사용하는 cost function은 수학식 6과 같다.
Figure 112010013189838-pat00008
Figure 112010013189838-pat00009
여기서, [Rk Tk]는 k번째 로컬 파트(local part)와 GPS 간의 상대적인 위치이고, Gk는 GPS 위치 정보, [rk tk]는 시작점의 프로젝션 행렬을 추정하는 끝점의 프로젝션 행렬이다.
상기 GPS 위치 정보의 정합이 끝난 후, 상기 3차원 복원 장치(1120)는 서로 연결된 local part의 끝점들을 평균 등의 방법으로 하나로 만든 다음, 이때 발생한 오차는 프레임 전체로 퍼뜨려 나눈다.
상기와 같은 시스템에 의해 짧은 구간의 추정 결과를 크게 변화시키지 않으면서 누적 오차를 줄일 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 1100 : 레이저 센서 110, 1110 : 카메라
120, 1120 : 3차원 복원 장치 122 : 카메라-레이저 보정부
124 : 움직임 추정부 126 : 3차원 복원부
1130 : GPS 수신기

Claims (17)

  1. 제1 및 제2 레이저 센서;
    상기 제1 및 제2 레이저 센서의 좌우에 각각 배치되는 제1 내지 제4 카메라;
    상기 제1 내지 제4 카메라로부터의 영상과 상기 제1 및 제2 레이저 센서에 의한 레이저 점의 움직임을 이용하여 3차원 복원을 수행하는 3차원 복원 장치;를 포함하되,
    상기 제1 레이저 센서와 제1 및 제2 카메라가 한 세트가 되고, 상기 제2 레이저 센서와 제3 및 제4 카메라가 한 세트가 되어 두 세트가 직각으로 배치된 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  2. 제1항에 있어서,
    상기 제1 및 제2 레이저 센서는 2차원(2D)이고, 스캐닝 평면의 깊이 정보를 제공하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  3. 제1항에 있어서,
    상기 제1 및 제2 레이저 센서는 90도 차이로 배치되어 각각 270도를 스캔하고, 서로 반대 방향으로 향하는 카메라가 각 레이저 센서가 스캔하는 영역을 촬영하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  4. 제1항에 있어서,
    상기 제1 내지 제4 카메라는 각 레이저 센서의 45도 또는 225도 방향을 향하여 각 레이저 센서가 스캔하는 영역을 촬영하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  5. 제1항에 있어서,
    상기 3차원 복원 장치는 카메라-레이저 보정(calibration)을 통해 레이저 점들의 카메라 좌표계에서의 위치를 확인하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  6. 제1항에 있어서,
    상기 3차원 복원 장치는 상기 제1 내지 제4 카메라를 통해 획득된 영상에 상기 레이저 센서에 의한 레이저 점을 투영 및 트래킹하여 움직임을 추정하고, 상기 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  7. 제1항에 있어서,
    상기 3차원 복원 장치는, 각 레이저 센서가 패턴 평면의 가장 자리에 다른 평면을 추가하여 스캔한 레이저 데이터에 대해 라인 피팅을 수행하여 에지 점(edge point)를 추출하고, 그 에지 점을 근거로 각 카메라와 레이저 센서간의 상대적인 위치를 측정하여 레이저 점의 위치를 정하는 카메라-레이저 보정부;
    상기 레이저 점을 상기 제1 내지 제4 카메라를 통해 획득된 영상에 투영 및 다중 프레임 트래킹을 수행하여 움직임을 추정하는 움직임 추정부;및
    상기 움직임 추정부에서 추정된 움직임과 상기 레이저 센서에 의한 모든 레이저 데이터를 이용하여 3차원 복원을 수행하는 3차원 복원부;를 포함하는 광역 3차원 복원을 위한 시스템.
  8. 제7항에 있어서,
    상기 움직임 추정부는 연속된 두 프레임 사이의 움직임의 초기값을 계산하고, 각각 계산된 움직임을 여러 장에 걸쳐서 누적하여 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임의 정확도를 높이는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  9. 제7항에 있어서,
    상기 움직임 추정부는 다중 프레임 트래킹을 수행하여 연속된 여러 프레임에서 움직임을 계산하고, 각각 계산된 움직임을 누적하여 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임을 계산하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  10. 제7항에 있어서,
    상기 움직임 추정부는 generalized 3-point를 이용하여 움직임을 추정하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  11. 제7항에 있어서,
    상기 3차원 복원부는 상기 레이저 센서에 의해 획득된 레이저 데이터를 상기 움직임 추정부에서 계산된 계산 결과를 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  12. 제1 및 제2 레이저 센서;
    상기 제1 및 제2 레이저 센서의 좌우에 각각 직각으로 배치되어 있는 제1 내지 제4 카메라;
    GPS 위치 정보를 측정하는 GPS 수신기;
    상기 제1 및 제2 레이저 센서에 의한 레이저 점의 움직임을 추정하고, 상기 GPS 수신기로부터의 GPS 위치 정보를 이용하여 상기 추정된 움직임을 보정한 후, 상기 보정된 움직임과 상기 제1 내지 제4 카메라로부터의 영상을 이용하여 3차원 복원을 수행하는 3차원 복원 장치;를 포함하되,
    상기 제1 레이저 센서와 제1 및 제2 카메라가 한 세트가 되고, 상기 제2 레이저 센서와 제3 및 제4 카메라가 한 세트가 되어 두 세트가 직각으로 배치된 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  13. 제12항에 있어서,
    상기 3차원 복원 장치는 상기 추정된 움직임을 상기 GPS 수신기로부터의 위치 정보와 대응하는 프레임에서 나누어 여러 개의 로컬 파트(local part)를 생성하고, 이를 GPS 위치 정보와 정합하여 서로 연결된 로컬 파트의 끝점을 하나로 만든 후, 상기 추정된 움직임을 보정하는 것을 특징으로 하는 광역 3차원 복원을 위한 시스템.
  14. (a)카메라를 통해 획득된 영상에 레이저 센서의 레이저 점을 투영하는 단계;
    (b)상기 레이저 점을 다중 프레임 트래킹하여 움직임을 추정하는 단계;및
    (c)상기 추정된 움직임과 상기 레이저 센서에 의한 레이저 데이터를 이용하여 3차원 복원을 수행하는 단계;
    를 포함하는 광역 3차원 복원을 위한 방법.
  15. 제14항에 있어서,
    상기 (a)단계 이전에, 카메라-레이저 보정(calibration)을 통해 레이저 점의 카메라 좌표계에서의 위치를 확인하는 단계를 더 포함하는 광역 3차원 복원을 위한 방법.
  16. 제14항에 있어서,
    상기 (b)단계는,
    연속된 두 프레임을 사용하여 상기 레이저 점의 초기 움직임을 계산하는 단계;및
    상기 계산된 초기 움직임을 누적하여 레이저 데이터를 여러 장의 영상에 투영하고, 상기 투영된 위치의 영상 텍스처를 이용하여 대응점을 검색하여 움직임의 정확도를 높이는 단계;를 포함하는 광역 3차원 복원을 위한 방법.
  17. 제14항에 있어서,
    상기 (c)단계는,
    상기 레이저 센서에 의해 획득된 레이저 데이터를 상기 추정된 움직임을 이용하여 첫번째 프레임의 좌표를 모으고, 하나의 좌표계로 모인 레이저 점들의 집합을 이용하여 3차원 복원을 수행하는 것을 특징으로 하는 광역 3차원 복원을 위한 방법.
KR1020100018433A 2010-03-02 2010-03-02 광역 3차원 복원을 위한 시스템 및 방법 KR101126626B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100018433A KR101126626B1 (ko) 2010-03-02 2010-03-02 광역 3차원 복원을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100018433A KR101126626B1 (ko) 2010-03-02 2010-03-02 광역 3차원 복원을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110099431A KR20110099431A (ko) 2011-09-08
KR101126626B1 true KR101126626B1 (ko) 2012-03-26

Family

ID=44952306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100018433A KR101126626B1 (ko) 2010-03-02 2010-03-02 광역 3차원 복원을 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101126626B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872817B2 (en) 2011-12-08 2014-10-28 Electronics And Telecommunications Research Institute Real-time three-dimensional real environment reconstruction apparatus and method
WO2016200185A1 (ko) * 2015-06-10 2016-12-15 주식회사 울프슨랩 3차원 스캐닝 시스템 및 이를 위한 라인레이저 정렬용 표적기구
KR101700729B1 (ko) 2015-08-28 2017-02-14 티클로버(주) 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템
KR20210157747A (ko) * 2020-06-22 2021-12-29 중앙대학교 산학협력단 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839035B1 (ko) 2012-11-26 2018-03-19 한국전자통신연구원 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법
KR101381654B1 (ko) * 2012-12-13 2014-04-04 전자부품연구원 3ｄ 모델 생성 장치 및 이의 운용 방법
KR101703013B1 (ko) * 2015-04-22 2017-02-06 (주) 리얼밸류 3차원 스캐너 및 스캐닝 방법
CN105222724B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
KR102259151B1 (ko) * 2020-09-28 2021-06-01 주식회사 나노시스템즈 카메라와 라이다를 활용한 객체 감지 트래킹 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092150A (ko) * 2008-02-26 2009-08-31 울산대학교 산학협력단 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원위치정보 측정방법 및 장치
KR20090128178A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092150A (ko) * 2008-02-26 2009-08-31 울산대학교 산학협력단 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원위치정보 측정방법 및 장치
KR20090128178A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2008.11)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872817B2 (en) 2011-12-08 2014-10-28 Electronics And Telecommunications Research Institute Real-time three-dimensional real environment reconstruction apparatus and method
WO2016200185A1 (ko) * 2015-06-10 2016-12-15 주식회사 울프슨랩 3차원 스캐닝 시스템 및 이를 위한 라인레이저 정렬용 표적기구
KR101700729B1 (ko) 2015-08-28 2017-02-14 티클로버(주) 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템
KR20210157747A (ko) * 2020-06-22 2021-12-29 중앙대학교 산학협력단 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법
KR102444976B1 (ko) * 2020-06-22 2022-09-21 중앙대학교 산학협력단 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법

Also Published As

Publication number Publication date
KR20110099431A (ko) 2011-09-08

Similar Documents

Publication Publication Date Title
KR101126626B1 (ko) 광역 3차원 복원을 위한 시스템 및 방법
EP3067861B1 (en) Determination of a coordinate conversion parameter
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
Iocchi et al. Visually realistic mapping of a planar environment with stereo
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
US20100045701A1 (en) Automatic mapping of augmented reality fiducials
Nair et al. Moving obstacle detection from a navigating robot
US10643343B2 (en) Structured light matching of a set of curves from three cameras
Hansen et al. Online continuous stereo extrinsic parameter estimation
JP7224832B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Oe et al. Estimating camera position and posture by using feature landmark database
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
Ann et al. Study on 3D scene reconstruction in robot navigation using stereo vision
CN113487726B (zh) 动作捕捉系统和方法
Zhao et al. Geometrical-analysis-based algorithm for stereo matching of single-lens binocular and multi-ocular stereovision system
CN113421286B (zh) 一种动作捕捉系统及方法
Thangarajah et al. Vision-based registration for augmented reality-a short survey
Liu et al. A low-cost and scalable framework to build large-scale localization benchmark for augmented reality
Esquivel et al. Reconstruction of sewer shaft profiles from fisheye-lens camera images
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
Barandiarán et al. Edge-based markerless 3d tracking of rigid objects
KR101614874B1 (ko) 지능형 3차원 씨씨티브이 카메라 영상 처리장치
Ghuffar et al. Relative orientation of videos from range imaging cameras
Park et al. Real-time estimation of trajectories and heights of pedestrians
Park et al. Robust Estimation of Heights of Moving People Using a Single Camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 7