KR20120065067A - 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법 - Google Patents

다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법 Download PDF

Info

Publication number
KR20120065067A
KR20120065067A KR1020100126391A KR20100126391A KR20120065067A KR 20120065067 A KR20120065067 A KR 20120065067A KR 1020100126391 A KR1020100126391 A KR 1020100126391A KR 20100126391 A KR20100126391 A KR 20100126391A KR 20120065067 A KR20120065067 A KR 20120065067A
Authority
KR
South Korea
Prior art keywords
laser rangefinder
disparity map
dimensional
stereo
sensor fusion
Prior art date
Application number
KR1020100126391A
Other languages
English (en)
Inventor
김시종
안광호
성창훈
강정원
정명진
김준
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100126391A priority Critical patent/KR20120065067A/ko
Publication of KR20120065067A publication Critical patent/KR20120065067A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다중센서 융합을 통한 3차원 환경 모델링 장치에 관한 것으로서, 3차원 레이저 거리계와, 스테레오 카메라와, 연산 단말기를 포함하며, 상기 3차원 레이저 거리계는 2차원 레이저 거리계와, 상기 2차원 레이저 거리계를 1축 구동하여 회전시키는 회전 구동용 모터와, 상기 1축 구동 회전을 제어하는 컨트롤러로 구성되며, 상기 연산 단말기는 가상 레이저 거리계 상이지도 생성부, 다중센서 융합 알고리즘 처리부 및 스테레오 매칭 알고리즘 처리부를 포함한다.
본 발명에 따르면, 스테레오 3차원 환경 모델링의 장점인 조밀도를 유지함과 동시에 레이저 거리계의 장점인 정밀도를 유지하는 3차원 환경 모델링이 가능하며, 나아가, 이를 통하여 주변 환경 정보에 대한 정확한 인식이 가능해지고, 무인 차량 및 자율 이동 로봇의 경로 생성 및 경로 주행의 안정성을 향상시킬 수 있다.

Description

다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법 {DEVICE AND METHOD FOR 3-DIMENSION WORLD MODELING USING MULTI-SENSOR FUSION}
본 발명은 3차원 환경 모델링 장치 및 그 방법에 관한 것으로서, 좀 더 상세하게는 여러 단일센서 기반의 3차원 환경 모델링 방법의 장점만을 취합하여 조밀도와 정확도를 향상하기 위한 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법에 관한 것이다.
3차원 환경 모델링 기술은 로봇의 자율 주행을 위한 지형 형상 복원 등 다양한 분야에 응용될 수 있다. 3차원 환경 모델링을 위해서 널리 사용되는 거리 측정 센서로 스테레오 카메라와 레이저 거리계(LRF, Laser Range Finder)를 꼽을 수 있다.
스테레오 카메라는 기하학적 관계를 알고 있는 두 대 이상의 카메라로부터 동시에 영상을 얻어 영상 내의 정합(Matching)과 삼각법의 과정을 거쳐 카메라로부터 지형까지의 거리를 추정한다. 스테레오 카메라의 경우 비전 센서이기 때문에 주어진 환경에 대한 색상 정보 등 고차원 정보를 얻을 수 있으며, 센서의 기본 동작 원리가 투영(Projection)이기 때문에 밀도 있는 환경 모델 생성이 가능하다는 장점이 있다. 하지만, 두 카메라 간의 부정확한 기하학적 관계 추정이 환경 모델링의 오차에 직접적으로 반영된다는 점, 스테레오 정합 등 영상 처리분야의 난제를 해결해야 한다는 점, 삼각법의 특성상 원거리에서는 큰 거리 오차가 포함된다는 점 등의 단점이 있다.
한편, 레이저 거리계는 레이저의 송수신을 이용한 센서로 원거리에서도 밀리미터(㎜) 단위의 높은 정확도를 갖는다. 하지만, 정해진 각도 간격의 레이저를 사용하는 센서 특성상 센서와 목표 환경까지의 거리가 멀수록 센서 정보의 밀도가 떨어진다는 점, 그리고 레이저를 이용하기 때문에 거리 정보 이외의 정보를 얻지 못한다는 점 등의 단점이 있다.
이와 같이, 스테레오 카메라와 레이저 거리계의 단점을 보완하기 위하여 두 센서를 융합하려는 여러 시도가 있었다. 대부분의 융합 사례에 있어서, 한 대의 카메라와 레이저 거리계를 사용하여 레이저 거리계로부터 얻어진 정확한 거리 정보에 카메라로부터의 색상 정보를 융합하는 방식의 접근을 시도하였다. 이러한 접근의 경우, 거리 정보를 전적으로 레이저 거리계에 의존하기 때문에 레이저 거리계의 문제점인 저밀도 환경 모델 생성의 문제를 해결할 수 없다. 또 다른 접근 방식으로는 스테레오 카메라와 레이저 거리계로부터 얻어진 3차원 점군을 두 센서 간의 기하학적인 관계를 이용하여 단순히 한 축으로 합쳐주는 방식이 있다. 이 경우에는, 스테레오 정합 오류에 의해 부정확하게 모델링된 점군이 그대로 포함될 수 밖에 없는 문제가 있다.
본 발명의 목적은 높은 정확도와 동시에 높은 조밀도를 갖는 환경 모델을 생성할 수 있는 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법을 제공하는 것이다.
상기 본 발명의 목적에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치는 3차원 레이저 거리계(LRF, Laser Range Finder)와, 스테레오 카메라와, 연산 단말기를 포함하며, 상기 3차원 레이저 거리계는, 2차원 레이저 거리계와, 상기 2차원 레이저 거리계를 1축 구동하여 회전시키는 회전 구동용 모터와, 상기 1축 구동 회전을 제어하는 컨트롤러로 구성되며, 상기 연산 단말기는, 가상 레이저 거리계 상이지도 생성부와, 다중센서 융합 알고리즘 처리부와, 스테레오 매칭 알고리즘 처리부를 포함한다.
상기 본 발명의 목적에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법은 3차원 레이저 거리계로부터 얻은 데이터를 이용하여 레이저 거리계 상이지도를 제작하는 단계와, 스테레오 카메라로부터 얻은 스테레오 영상을 이용하여 스테레오 상이지도를 제작하는 단계와, 상기 레이저 거리계 상이지도와 상기 스테레오 상이지도를 이용하여 다중센서 융합 상이지도를 제작하는 단계와, 상기 다중센서 융합 상이지도로부터 3차원 환경을 모델링 하는 단계를 포함한다.
본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치를 이용하면, 스테레오 3차원 환경 모델링의 장점인 조밀도를 유지함과 동시에 레이저 거리계의 장점인 정밀도를 유지하는 3차원 환경 모델링이 가능하며, 나아가, 이를 통하여 주변 환경 정보에 대한 정확한 인식이 가능해지고, 무인 차량 및 자율 이동 로봇의 경로 생성 및 경로 주행의 안정성을 향상시킬 수 있다.
도 1은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치의 개략적인 구성도이다.
도 3은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치를 포함하는 무인로봇을 나타낸 도면이다.
도 4는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치에서의 가상 레이저 거리계 스테레오 영상을 나타내는 도면이다.
도 5는 본 발명에 따라 가상 레이저 거리계 스테레오 영상으로부터 초기 가상 레이저 거리계 상이지도가 생성되는 것을 나타내는 도면이다.
도 6은 본 발명에 따라 초기 가상 레이저 거리계 상이지도의 조밀도를 개선하여 최종 가상 레이저 거리계 상이지도를 생성하는 방법을 나타내는 도면이다.
도 7은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치에서의 다중센서 융합 상이지도를 생성하는 과정을 나타내는 도면이다.
도 8은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 결과를 나타내는 도면이다.
도 9는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법을 나타낸다.
다중센서 융합을 통한 3차원 환경 모델링의 목적은 단순히 각 단위센서 기반의 모델링 결과를 한 축으로 합치는 것이 아니라 각 단위센서의 장점을 최대한 살리고 단점을 보완하는 3차원 환경 모델링 결과를 얻는 것이다. 의미 있는 다중센서 융합 결과를 얻기 위해서는 각 단위센서 기반 3차원 환경 모델링의 특성을 파악하고 이를 이용한 융합 방법을 적용해야 한다.
이하, 본 발명을 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법을 개략적으로 나타낸 도면이다. 즉, 도 1에서는 실험대상(110)에 대한 단일센서 기반의 3차원 복원결과 및 각 복원결과의 특성, 다중센서 융합을 통한 3차원 환경 모델링 결과(140)를 나타낸다. 구체적으로는, 단일센서로서 스테레오 카메라와 레이저 거리계를 제시하고 있으며, 각 단일센서의 경우를 살펴보면, 스테레오 카메라 기반의 3차원 복원결과(120)에서는 낮은 정확도의 표시부(121)와 높은 조밀도의 표시부(122)를 확인할 수 있으며, 레이저 거리계 기반의 3차원 복원결과(130)에서는 높은 정확도의 표시부(131)와 낮은 조밀도의 표시부(132)를 확인할 수 있다. 본 발명에서는 상기 단일센서들 각각의 장점을 살리고 단점을 버릴 수 있는 다중센서 융합을 통한 3차원 환경 모델링 방법에 대해 논의하며, 상기 방법에 의한 결과물인 다중센서 융합을 통한 3차원 환경 모델링 결과(140)가 보여지고 있다.
도 2는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치의 개략적인 구성도이며, 도 3은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치를 포함하는 무인로봇을 나타낸 도면이다. 도 2에 도시된 바와 같이, 다중센서 융합을 통한 3차원 환경 모델링 장치는 3차원 레이저 거리계(210)와 스테레오 카메라(220) 및 연산 단말기(230)를 포함하며, 상기 3차원 레이저 거리계는 2차원 레이저 거리계(211)와, 상기 2차원 레이저 거리계를 1축 구동하여 회전시키는 회전 구동용 모터(212) 및 상기 1축 구동 회전을 제어하는 컨트롤러(213)로 구성되며, 상기 연산 단말기(230)는, 가상 레이저 거리계 상이지도 생성부(231), 다중센서 융합 알고리즘 처리부(232) 및 스테레오 매칭 알고리즘 처리부(233)를 포함하여 이루어질 수 있다. 또한, 도 3에 나타나는 바와 같이, 다중센서 융합을 통한 3차원 환경 모델링 장치는 파이오니아(pioneer, 340)를 가지는 무인로봇에 탑재되어 주행이 가능하도록 구성될 수 있다.
이하, 도 4 내지 도 7에 도시된 도면을 기초로 상기 연산 단말기(230)의 구성에 대하여 구체적으로 살펴보도록 한다.
먼저, 도 4는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치에서의 가상 레이저 거리계 스테레오 영상을 나타내는 도면이다. 도 4에 도시된 바와 같이, 가상 레이저 거리계 스테레오 영상은 왼쪽 레이저 거리계 스테레오 영상(410)과 오른쪽 레이저 거리계 스테레오 영상(420)으로 표현된다. 이때, 상기 스테레오 영상들(410, 420)은 레이저 거리계 3차원 점군으로부터 형성되며, 이러한 과정은 상기 가상 레이저 거리계 상이지도 생성부(231)에 의하여 수행된다. 즉, 상기 가상 레이저 거리계 상이지도 생성부(231)에서는 3차원 정보인 레이저 거리계 점군을 스테레오 영상과 동일한 2차원 좌표계로 변환하여 가상 레이저 거리계 스테레오 영상을 생성한다. 여기서, 상기 가상 레이저 거리계 스테레오 영상(virtual LRF stereo image)이란 레이저 거리계 정보를 바탕으로 하여, 스테레오 카메라 좌표계에서 생성된 가상의 스테레오 영상을 의미한다. 레이저 거리계 3차원 점군을 영상 평면상의 좌표로 표현하기 위해서는 하기 수학식 1과 수학식 2의 과정을 거쳐야 한다.
구체적으로는 먼저, 카메라 좌표계 3차원 점군(
Figure pat00001
)은 수학식 1에 의해 레이저 거리계에서의 3차원 점군(
Figure pat00002
)으로부터 얻어진다.
Figure pat00003
여기서, Φ는 카메라와 레이저 거리계에서의 좌표계 사이의 회전행렬이고, △는 카메라와 레이저 거리계에서의 좌표계 사이의 평행이동 벡터이다.
다음으로, 영상 평면상의 좌표(
Figure pat00004
)는 수학식 2에 의해 상기 카메라 좌표계에서의 3차원 점군(
Figure pat00005
)으로부터 얻어진다.
Figure pat00006
여기서, K는 카메라의 내부 파라미터(intrinsic parameter) 행렬이다.
상기 과정을 통하여, 영상 평면상의 좌표(p)를 구함으로써 가상 레이저 거리계 스테레오 영상들(410, 420)이 생성된다. 상기 가상 레이저 거리계 스테레오 영상들(410, 420)은 레이저 거리계와 같이 조밀도가 낮지만 정확한 특성을 갖는다. 또한, 스테레오 카메라를 통해 얻은 영상과 동일한 영상 좌표계에서 표현되므로 두 센서 데이터의 융합이 용이하다.
도 5는 본 발명에 따라 가상 레이저 거리계 스테레오 영상으로부터 초기 가상 레이저 거리계 상이지도가 생성되는 것을 나타내는 도면이다. 여기서, 상기 초기 가상 레이저 거리계 상이지도(LRF disparity map)는 가상 레이저 거리계 스테레오 영상들(510, 520)을 통해 스테레오 정합 과정을 거쳐 생성된 상이지도로 정의한다. 도 5에 도시된 바와 같이, 상기 가상 레이저 거리계 스테레오 영상들(510, 520)을 바탕으로 간단한 스테레오 정합 과정을 거치면 초기 가상 레이저 거리계 상이지도(530)를 생성할 수 있으며, 이러한 과정도 상기 가상 레이저 거리계 상이지도 생성부(231)에 의하여 수행된다. 상기 초기 가상 레이저 거리계 상이지도(530)는 스테레오 영상에 비하여 조밀도가 낮기 때문에 이를 개선하여 조밀도를 향상시키는 과정이 요구된다.
도 6은 본 발명에 따라 초기 가상 레이저 거리계 상이지도의 조밀도를 개선하여 최종 가상 레이저 거리계 상이지도를 생성하는 방법을 나타내는 도면이다. 도 6의 최종 가상 레이저 거리계 상이지도의 생성 과정도 상기 가상 레이저 거리계 상이지도 생성부(231)에 의하여 수행된다. 도 6에 도시된 바와 같이, 초기 가상 레이저 거리계 상이지도(620)의 조밀도를 개선하기 위하여, 상기 가상 레이저 거리계 상이지도 생성부(231)는 카메라의 초점 거리(focal length)를 조절하여 상기 초기 가상 레이저 거리계 상이지도(620)를 생성하고, 이를 영상 확대한 후, 내삽(interpolation)을 통해 빈 픽셀을 채우고 필터링(filtering)을 통해 잡음을 제거함으로써 최종 가상 레이저 거리계 상이지도(630)를 생성하게 된다. 이때, 카메라의 초점 거리를 조절하여 가상 레이저 거리계 상이지도를 생성하기 위해서는 카메라 캘리브레이션(calibration)을 통해 얻은 카메라의 내부 파라미터 행렬(K)에서 초점 거리와 이미지 중점을 나타내는 값을 조절하고, 이를 통해 레이저 거리계 점군을 가상의 작은 영상 평면에 투영시킴으로써 작지만 상대적으로 조밀한 가상 레이저 거리계 스테레오 영상을 생성할 수 있고, 이를 통하여 최종 가상 레이저 거리계 상이지도(630)를 생성할 수 있다.
도 7은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치에서의 다중센서 융합 상이지도(740)를 생성하는 과정을 나타내는 도면이다. 여기서, 다중센서 융합 상이지도(multi-sensor fusion disparity map)는 스테레오 상이지도에서 발생할 수 있는 반복 무늬나 재질이 없는 영역에 의한 오류를 가상 레이저 거리계 상이지도를 통해 보상해 준 상이지도로 정의된다. 먼저, 상기 스테레오 매칭 알고리즘 처리부(233)에서 스테레오 영상을 바탕으로 스테레오 매칭을 통해 생성된 스테레오 상이 지도(stereo disparity map, 710)는 반복 무늬나 재질이 없는 영역에 의한 오류 영역을 포함하고 있다. 상기 오류 영역을 개선하기 위해서, 상기 다중센서 융합 알고리즘 처리부(232)에서는 상기 스테레오 상이지도(710)와 상기 최종 가상 레이저 거리계 상이지도(720)를 비교하여 기설정된 임계값(critical value) 이상의 차이가 나타나는 영역을 검출한다. 여기서, 상기 임계값은 시스템의 동작 환경에 적합한 값으로서 사용자가 설정하여야 하며, 실험적으로 상기 임계값의 설정 범위는 상이값 범위의 1/20 내지 1/30에서 시스템의 동작 환경에 따라 결정된다. 이러한 과정을 통해, 상기 스테레오 상이지도(710)에서 오류 영역을 판단된 영역의 값은 상기 최종 가상 레이저 거리계 상이지도의 상이값을 통해 보상될 수 있다. 이와 같이 오류 영역을 보상하여 생성된 다중센서 융합 상이지도(740)을 통해 3차원 환경을 모델링하면, 조밀하면서도 정확한 3차원 월드 모델링이 가능하다.
도 8은 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 결과를 나타내는 도면이다. 도 8에 나타난 바와 같이, 다중센서 융합 상이지도를 이용한 3차원 환경 모델링 결과(830)를 보면, 스테레오 상이지도를 통한 3차원 환경 모델링(810)의 조밀성을 유지하는 동시에 부정확하게 모델링되는 오류 영역을 개선한 것을 확인할 수 있다. 또한, 레이저 거리계 3차원 환경 모델링(820)의 정밀도를 유지함과 동시에 조밀도를 향상시킨 것을 확인할 수 있다. 이와 같이 본 발명에 따른 다중센서 융합 상이지도를 통한 3차원 환경 모델링 결과로부터, 스테레오 기반 모델링의 조밀성을 유지하면서도 레이저 거리계 기반 모델링의 정확성을 융합하여 종래 문제점을 해결한 것을 확인할 수 있다. 즉, 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법은 각 센서의 장점을 융합하고 단점을 보완한 다중센서 융합을 통한 3차원 환경 모델링 결과를 생성한다는 것을 알 수 있다.
도 9는 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법을 나타낸다. 도 9에 나타난 바와 같이, 본 발명에 따른 다중센서 융합을 통한 3차원 환경 모델링 방법은 3차원 레이저 거리계로부터 얻은 데이터를 이용하여 가상 레이저 거리계 상이지도를 제작하는 단계(S930)와, 스테레오 카메라로부터 얻은 스테레오 영상을 이용하여 스테레오 상이지도를 제작하는 단계(S950)와, 상기 가상 레이저 거리계 상이지도와 상기 스테레오 상이지도를 이용하여 다중센서 융합 상이지도를 제작하는 단계(S960)와, 상기 다중센서 융합 상이지도로부터 3차원 환경을 모델링 하는 단계(S970)를 포함한다.
또한, 상기 가상 레이저 거리계 상이지도를 제작하는 단계는 3차원 정보인 레이저 거리계 점군을 2차원 스테레오 영상 좌표계로 변환하고, 2차원 내삽(interpolation)을 통해 가상 레이저 거리계 스테레오 영상을 생성하는 단계(S920)와, 카메라의 초점 거리를 조절하여 초기 가상 레이저 거리계 상이지도를 생성하고, 이를 영상 확대한 후, 내삽을 통해 빈 픽셀을 채우고 필터링(filtering)을 통해 잡음을 제거함으로써 최종 가상 레이저 거리계 상이지도를 생성하는 단계(S930)를 포함한다.
또한, 상기 다중센서 융합 상이지도를 제작하는 단계(S960)는 스테레오 상이지도와 가상 레이저 거리계 상이지도를 비교하여 임계값 이상의 차이를 나타내는 영역을 검출하는 단계와, 스테레오 상이지도에서 오류 영역으로 판단된 영역의 값을 가상 레이저 거리계 상이지도의 상이값을 통해 보상해 주는 단계로 구성된다.
이상에서 설명한 바와 같이, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용이 가능함은 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 실험대상
120 : 스테레오 카메라 기반의 3차원 복원결과
121 : 낮은 정확도의 표시부 122 : 높은 조밀도의 표시부
130 : 레이저 거리계 기반의 3차원 복원결과
131 : 높은 정확도의 표시부 132 : 낮은 조밀도의 표시부
140 : 다중센서 융합을 통한 3차원 환경 모델링 결과
210 : 3차원 레이저 거리계 211 : 2차원 레이저 거리계
212 : 회전 구동용 모터 213 : 컨트롤러
220 : 스테레오 카메라 230 : 연산 단말기
231 : 가상 레이저 거리계 상이지도 생성부
232 : 다중센서 융합 알고리즘 처리 장치부
233 : 스테레오 매칭 알고리즘 처리 장치부
310 : 연산 단말기 320 : 스테레오 카메라
330 : 3차원 레이저 거리계 340 : 파이오니아
410 : 왼쪽 가상 레이저 거리계 스테레오 영상
420 : 오른쪽 가상 레이저 거리계 스테레오 영상
430 : 가상 레이저 거리계 스테레오 영상의 확대부
510 : 왼쪽 가상 레이저 거리계 스테레오 영상
520 : 오른쪽 가상 레이저 거리계 스테레오 영상
530 : 초기 가상 레이저 거리계 상이지도
610 : 3차원 레이저 거리계
620 : 초기 가상 레이저 거리계 상이지도
630 : 최종 가상 레이저 거리계 상이지도
710 : 스테레오 정합 상이지도
720 : 가상 레이저 거리계 상이지도
730 : 오류 영역이 포함된 상이지도
740 : 다중센서 융합 상이지도
810 : 스테레오 정합 상이지도를 이용한 3차원 복원 결과
820 : 레이저 거리계 3차원 복원 결과
830 : 다중센서 융합 상이지도를 이용한 3차원 복원 결과

Claims (8)

  1. 3차원 레이저 거리계(LRF, Laser Range Finder);
    스테레오 카메라; 및
    연산 단말기를 포함하며,
    상기 3차원 레이저 거리계는,
    2차원 레이저 거리계;
    상기 2차원 레이저 거리계를 1축 구동하여 회전시키는 회전 구동용 모터; 및
    상기 1축 구동 회전을 제어하는 컨트롤러로 구성되며,
    상기 연산 단말기는,
    가상 레이저 거리계 상이지도 생성부, 다중센서 융합 알고리즘 처리부 및 스테레오 매칭 알고리즘 처리부를 포함하는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 장치.
  2. 제 1 항에 있어서,
    가상 레이저 거리계 상이지도 생성부는
    3차원 정보인 레이저 거리계 점군을 스테레오 영상과 동일한 2차원 좌표계로 변환하여 초기 가상 레이저 거리계 스테레오 영상을 생성하고,
    카메라의 초점 거리를 조절하여 가상 레이저 거리계 상이지도를 생성하고, 이를 영상 확대한 후, 내삽(interpolation)을 통해 빈 픽셀을 채우고 필터링(filtering)을 통해 잡음을 제거함으로써 최종 가상 레이저 거리계 상이지도를 생성하는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 장치.
  3. 제 1 항에 있어서,
    상기 스테레오 정합부는 카메라의 초점 거리를 조절하여 가상 레이저 거리계 상이지도를 생성하고, 이를 영상 확대한 후, 내삽(interpolation)을 통해 빈 픽셀을 채우고 필터링(filtering)을 통해 잡음을 제거함으로써 가상 레이저 거리계 상이지도를 생성하는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 장치.
  4. 제 3 항에 있어서,
    상기 오류 보상부는 스테레오 상이지도와 레이저 거리계 상이지도를 비교하고 오류를 보상하여 다중센서 융합 상이지도를 생성하는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 장치.
  5. 제 1 항에 있어서,
    상기 3차원 환경 모델링 장치는 파이오니아(pioneer)를 가지는 무인로봇에 탑재되어 주행이 가능한 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 장치.
  6. 3차원 레이저 거리계로부터 얻은 데이터를 이용하여 레이저 거리계 상이지도를 제작하는 단계;
    스테레오 카메라로부터 얻은 스테레오 영상을 이용하여 스테레오 상이지도를 제작하는 단계;
    상기 레이저 거리계 상이지도와 상기 스테레오 상이지도를 이용하여 다중센서 융합 상이지도를 제작하는 단계; 및
    상기 다중센서 융합 상이지도로부터 3차원 환경을 모델링 하는 단계를 포함하는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 방법.
  7. 제 6 항에 있어서,
    상기 레이저 거리계 상이지도를 제작하는 단계는
    3차원 정보인 레이저 거리계 점군을 2차원 스테레오 영상 좌표계로 변환하고, 2차원 내삽을 통해 가상 스테레오 영상을 생성하는 단계; 및
    카메라의 초점 거리를 조절하여 초기 레이저 거리계 상이지도를 생성하고, 이를 영상 확대한 후, 내삽(interpolation)을 통해 빈 픽셀을 채우고 필터링(filtering)을 통해 잡음을 제거함으로써 최종 레이저 거리계 상이지도를 생성하는 단계로 구성되는 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 방법.
  8. 제 6 항에 있어서,
    상기 다중센서 융합 상이지도를 제작하는 단계는
    스테레오 상이지도와 레이저 거리계 상이지도를 비교하여 임계값 이상의 차이를 나타내는 영역을 검출하는 단계; 및
    스테레오 상이지도에서 오류 영역으로 판단된 영역의 값을 레이저 거리계 상이지도의 상이값을 통해 보상해 주는 단계로 구성되며,
    상기 임계값은 상이값 범위의 1/20 내지 1/30 이내에서 기설정된 값인 것을 특징으로 하는 다중센서 융합을 통한 3차원 환경 모델링 방법.
KR1020100126391A 2010-12-10 2010-12-10 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법 KR20120065067A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100126391A KR20120065067A (ko) 2010-12-10 2010-12-10 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100126391A KR20120065067A (ko) 2010-12-10 2010-12-10 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120065067A true KR20120065067A (ko) 2012-06-20

Family

ID=46684965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100126391A KR20120065067A (ko) 2010-12-10 2010-12-10 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20120065067A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105953787A (zh) * 2016-04-27 2016-09-21 河北德普电器有限公司 一种机器人导航地图生成系统
KR20170008505A (ko) 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
KR101897407B1 (ko) * 2017-06-14 2018-10-18 국방과학연구소 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치
WO2018230845A1 (ko) * 2017-06-13 2018-12-20 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
KR20190086951A (ko) 2018-01-15 2019-07-24 주식회사 스트리스 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법
KR20190086960A (ko) 2018-01-15 2019-07-24 주식회사 스트리스 특징 기하 기반의 멀티센서 캘리브레이션 및 융합을 위한 장치 및 방법
KR20190090567A (ko) 2018-01-25 2019-08-02 주식회사 스트리스 특징 기하 기반의 멀티센서 데이터 처리 장치 및 방법
US10444752B2 (en) 2016-08-16 2019-10-15 Samsung Electronics Co., Ltd. Stereo camera-based autonomous driving method and apparatus
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN112507899A (zh) * 2020-12-15 2021-03-16 上海有个机器人有限公司 一种三维激光雷达图像识别方法以及设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008505A (ko) 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
CN105953787A (zh) * 2016-04-27 2016-09-21 河北德普电器有限公司 一种机器人导航地图生成系统
US10444752B2 (en) 2016-08-16 2019-10-15 Samsung Electronics Co., Ltd. Stereo camera-based autonomous driving method and apparatus
US11500391B2 (en) 2017-06-13 2022-11-15 Lg Electronics Inc. Method for positioning on basis of vision information and robot implementing same
WO2018230845A1 (ko) * 2017-06-13 2018-12-20 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
KR101897407B1 (ko) * 2017-06-14 2018-10-18 국방과학연구소 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치
KR20190086951A (ko) 2018-01-15 2019-07-24 주식회사 스트리스 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법
KR20190086960A (ko) 2018-01-15 2019-07-24 주식회사 스트리스 특징 기하 기반의 멀티센서 캘리브레이션 및 융합을 위한 장치 및 방법
KR20190090567A (ko) 2018-01-25 2019-08-02 주식회사 스트리스 특징 기하 기반의 멀티센서 데이터 처리 장치 및 방법
CN111958595B (zh) * 2020-08-13 2021-09-17 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN112507899A (zh) * 2020-12-15 2021-03-16 上海有个机器人有限公司 一种三维激光雷达图像识别方法以及设备
CN112507899B (zh) * 2020-12-15 2024-05-28 上海有个机器人有限公司 一种三维激光雷达图像识别方法以及设备

Similar Documents

Publication Publication Date Title
KR20120065067A (ko) 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
WO2018090250A1 (zh) 生成三维点云的方法、装置、计算机系统和移动设备
JP2022510418A (ja) 時間同期処理方法、電子機器及び記憶媒体
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN110310304B (zh) 单目视觉建图和定位方法、装置、存储介质及移动设备
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
JP2007263669A (ja) ３次元座標取得装置
EP3716210B1 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN110419208B (zh) 成像系统、成像控制方法、图像处理设备和计算机可读介质
JP2018026058A (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
Patel et al. Distance measurement system using binocular stereo vision approach
CN115336250A (zh) 摄影指示方法、摄影方法、摄影指示装置及摄影装置
EP3832600A1 (en) Image processing device and three-dimensional measuring system
US20170091945A1 (en) Point and sensor estimation from images
CN113030960B (zh) 一种基于单目视觉slam的车辆定位方法
JP2009530701A (ja) 深度マップを画像から判定する方法、深度マップを判定する装置
JP2009530701A5 (ko)
CN117250956A (zh) 一种多观测源融合的移动机器人避障方法和避障装置
JPS63124114A (ja) 移動体用環境認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application