KR20060033497A - 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇 - Google Patents

카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇 Download PDF

Info

Publication number
KR20060033497A
KR20060033497A KR1020040082646A KR20040082646A KR20060033497A KR 20060033497 A KR20060033497 A KR 20060033497A KR 1020040082646 A KR1020040082646 A KR 1020040082646A KR 20040082646 A KR20040082646 A KR 20040082646A KR 20060033497 A KR20060033497 A KR 20060033497A
Authority
KR
South Korea
Prior art keywords
distance
light source
reflector
coordinate
distance data
Prior art date
Application number
KR1020040082646A
Other languages
English (en)
Other versions
KR100587572B1 (ko
Inventor
정명진
방석원
이형기
박동렬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040082646A priority Critical patent/KR100587572B1/ko
Priority to US11/237,660 priority patent/US7653247B2/en
Publication of KR20060033497A publication Critical patent/KR20060033497A/ko
Application granted granted Critical
Publication of KR100587572B1 publication Critical patent/KR100587572B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Abstract

본 발명은 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를 추출하는 것에 관한 발명으로서, 본 발명의 실시에 따른 시스템은 평면의 형태로 광원을 발생시키는 광원 발생 모듈과, 상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 영상 획득 모듈 및 상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하고, 상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 제어 모듈을 포함하는데, 상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값이다.
코너 포인트(corner point), 거리 측정, 거리 센서, 이동 로봇

Description

카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를 추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동 로봇{System and method for extracting corner point in space using pixel information on camera, robot including the system}
도 1은 종래의 스플릿-병합(split-merge) 방법을 나타내고 있는 예시도이다.
도 2a 내지 도 2c는 종래의 방법에 따른 코너 포인트 추출 결과를 나타내는 그래프이다.
도 3은 본 발명의 실시예에 따른 코너 포인트를 추출하는 시스템을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따라 코너 포인트를 추출하는 시스템의 블록도를 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따라 코너 포인트를 추출하는 방법을 나타내는 플로우차트이다.
도 6은 본 발명의 실시예에 따라 거리 데이터를 계산하는 과정을 나타내는 그래프이다.
도 7은 본 발명의 실시예에 따라 광원 발생 기기로부터 반사체까지의 거리와 거리 문턱값(threshold)과의 관계를 나타내는 그래프이다.
도 8a 내지 도 8d는 본 발명의 실시예에 따라 코너 포인트를 추출하는 과정을 나타내는 그래프이다.
도 9a 및 도 9b는 본 발명의 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 10a 및 도 10b는 본 발명의 또다른 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 11a 및 도 11b는 본 발명의 또다른 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 12는 본 발명의 실시예에 따라 코너 포인트를 추출하는 시스템을 포함하는 이동 로봇의 블록도를 나타내고 있는 예시도이다.
<도면의 주요 부분에 대한 부호의 설명>
400: 코너 포인트 추출 시스템
410: 영상 획득 모듈
420: 제어 모듈
430: 광원 발생 모듈
본 발명은 코너 포인트 추출에 관한 것으로, 보다 상세하게는 카메라와 같은 영상 획득 기기의 픽셀 정보를 이용하여 공간상에 있는 임의의 물체에 대한 코너 포인트를 추출하는 방법에 관한 것이다.
과거 단순 조립이나 가공을 위하여 산업 현장에 도입되었던 로봇은 오늘날 자체의 인식 능력과 판단 능력이 부가됨으로써 보다 고기능의 작업을 수행할 수 있게 되었다.
더욱이 스스로 이동이 가능한 이동 로봇은 고정된 위치나 혹은 미리 구조화된 작업 환경에서 임의의 작업장이나 실외 등과 같이 넓은 작업 영역을 갖게 되어, 그 역할 면이나 작업의 다양성 면에서 고정된 로봇에 비해 탁월한 능력을 가질 수 있다.
근래 이동 로봇은 심해나 원전 지역 등과 같이 인간의 접근이 용이하지 않은 곳에서 인간의 작업을 대신함으로써 인간의 안전을 도모하는데 크게 기여하고 있다.
이동 로봇은 주변 환경에 대한 사전 정보가 부족한 곳에서도 이동하거나 작업을 수행하는데에 필요한 자율적인 경로 계획과 장애물 탐지 및 충돌 회피 능력을 가질 필요가 있는데, 근래 들어 사전 정보가 부족한 장소를 이동하면서 자동적으로 지도를 생성함과 동시에 로봇의 위치를 추정하는 기술인 '동시 위치 추정 및 지도 생성 기술 (Simultaneous Localization and Map Building, SLAM)'에 대한 연구가 활발히 진행되고 있다.
이동 로봇이 SLAM을 수행하기 위해서는 주변 환경으로부터 위치 추정에 사용할 수 있는 정보의 추출 능력이 필수적이다.
시각 센서나 초음파 센서, 혹은 접촉 센서 등을 이용한 여러 가지 방법들이 이에 적용되고 있는데, 특히 레이저(LASER) 등의 스트럭처드 라이트(structured light)와 카메라를 이용한 시각 센서와 이를 통한 3차원 인식 알고리즘은 계산량의 부담이 적고 밝기의 변화가 심한 곳에서도 사용될 수 있으므로 매우 효과적인 방법이다.
이러한 방식은 레이저(LASER)와 같은 능동 광원(active vision)을 이용하여 미리 결정된 형태로 빛을 대상물에 비추고 카메라와 같은 센서를 사용하여 영상을 얻어낸다. 그리고 나서, 얻어 낸 영상 내에서 레이저(LASER) 반사 지점을 포착하면 그 포착 지점의 카메라 영상 좌표와 그 때의 주사 각도, 카메라와 레이저 빔의 발사 지점까지의 거리에 의하여 레이저 발사 지점과 레이저 반사 지점 사이의 거리를 삼각도 법(triangular method)에 의해 계산해낸다. 삼각도 법(triangular method)은 레이저(LASER)의 발사 지점과 레이저(LASER)의 반사 지점, 그리고 레이저(LASER) 발사 지점과 카메라 사이의 거리의 관계를 삼각형의 기하학적 관계로 변환하여 거리를 구하는 방법으로서, 보다 구체적인 내용은 'K.S. Fu, R.C. Gonzalez, and C.S.G. Lee, Robotics : Controll, Sensing, Vision, and Intelligence, McGraw-Hill, 1987'에 개시되어 있다.
또한, 위와 같은 스트럭처드 라이트(structured light)를 이용하는 방법에 대해서는 'Y. Shirai, "Recognition of Polyhedrons with a Range Finder", Pattern Recog, vol. 4, pp243-250, 1972', 'R.J. Poppleston, C.M. Brown, A.P. Ambler, and G.F. Crawford, "Forming Model of Plane and Cylinder Faceted Bodies from Light Stripes", Proc.Int. Joint Cont. Artifitial Intell., pp629- 673, 1975', 'F. Rcker and A. Kiessling, "Methods of Analysing Three Dimensional Scenes", Proc. 4th int. Joing Conf. Artifitial Intell., pp669-673, 1975'에 보다 구체적으로 개시되어 있다.
위와 같은 방법에 의해 레이저(LASER) 발사 지점과 레이저(LASER) 반사 지점 사이의 거리에 대한 데이터를 얻게 되면, 이동 로봇이 위치 추정을 위해 사용되는 중요한 정보인 코너 포인트를 추출하기 위해 각각의 거리 데이터에 대한 스플릿-병합(split-merge) 방법을 사용한다.
도 1에서는 종래의 스플릿-병합(split-merge) 방법을 간단하게 도시하고 있다.
도 1에서는 Z 방향이 레이저(LASER) 발사 지점으로부터 장애물, 즉 발사된 레이저(LASER)에 의해 반사되는 반사체에 대한 거리 방향이다. 그리고, 각각의 포인트는 획득한 거리 데이터에 해당한다.
우선 100으로 표시되는 좌표 상에서 양 끝 점(110,112)을 선택하고, 선택된 양 끝 점(110,112)을 잇는 선(114)을 얻는다. 그리고 나서, 선(114)과 각각의 포인트 사이의 거리를 측정하고 만일 측정된 거리가 소정의 거리 문턱값(threshold)을 초과하게 되면, 해당하는 포인트를 중심으로 스플릿(split)이 일어난다.
예를 들어 116에 해당하는 포인트가 선(114)으로부터 상기 거리 문턱값(threshold)을 초과하는 지점에 위치하게 되면 포인트 116을 중심으로 120으로 표시되는 좌표와 같이 2개의 선(122,124)을 생성하고, 앞에서와 같이 각각의 선 (122,124)과 각각의 포인트 사이의 거리를 측정하고 측정된 거리가 상기 거리 문턱값(threshold)을 초과하는지 여부를 측정한다.
만일 포인트 130과 포인트 132이 상기 거리 문턱값(threshold)을 초과하는 지점에 위치하는 경우에는 다시 포인트 130과 포인트 132를 중심으로 스플릿(split)이 일어난다. 결국, 140으로 표시되는 좌표 상에는 4개의 선(142, 144, 146, 148)이 나타나게 되고, 다시 각각의 선(142, 144, 146, 148)과 각각의 포인트 사이의 거리를 측정하고 측정된 거리가 상기 거리 문턱값(threshold)을 초과하는지 여부를 측정한다. 이 때 측정된 거리가 모두 상기 거리 문턱값(threshold)을 초과하지 않는 경우에는 스플릿(split) 과정은 종료하게 되고 병합(merge) 단계를 수행한다.
병합(merge) 단계에서는 연속하는 선과 근처의 포인트들 사이의 거리가 상기 거리 문턱값(threshold)을 초과하지 않는 경우에 상기 연속하는 선의 공통선을 생성하게 된다.
예를 들어, 160으로 표시되는 좌표 상에서는 선 144와 선 146의 공통선인 선 162이 생성된다.
도 1에서 도시한 방법으로 스플릿-병합(split-merge) 과정을 거치게 되면, 최종적으로 생성된 선들로부터 코너 포인트들을 얻을 수 있는 것이다.
이 때, 스플릿트-병합 수행시 사용되는 거리 문턱값(threshold)은 일반적으로 레이저(LASER)의 발사 지점과 레이저(LASER)의 반사 지점 사이의 거리에 비례한 값으로 사용하게 된다. 그러나, 이러한 경우 코너를 검출하지 못하는 경우가 있다.
도 2a 내지 도 2c에서는 이와 같은 방법에 따른 코너 포인트 추출 결과를 나타내고 있다.
도 2a에서는 우선 획득한 거리 데이터를 2개의 그룹(그룹 A, 그룹 B)으로 나누고, 도 2b에서는 나누어진 그룹 각각에 대하여 스플릿(split)을 수행한다. 그러나, 스플릿(split)이 잘못되어 그 결과 도 2c에서와 같이 코너_0가 검출되지 않을 수 있게 된다. 이것은 거리 문턱값(threshold)이 단순히 레이저(LASER)의 발사 지점과 레이저(LASER)의 반사 지점 사이의 거리에 비례한 값으로만 결정되었기 때문이다.
따라서 위와 같은 방법에 의해 코너 포인트가 검출되지 않는 것을 방지하기 위하여 상기 거리 문턱값(threshold)을 결정하는 방법을 달리해야 할 필요가 생기게 되었다.
본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 스플릿트-병합(split-merge) 과정에서 필요한 거리 문턱값(threshold)을 결정함에 있어서 카메라의 픽셀 정보를 이용함으로써, 공간상의 코너 포인트를 추출하는 시스템 및 방법을 제고하는데 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따라 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를 추출하는 시스템은 평면의 형태로 광원을 발생시키는 광원 발생 모듈과, 상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 영상 획득 모듈 및 상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하고, 상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 제어 모듈을 포함하는데, 상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값이다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따라 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를 추출하는 방법은 평면의 형태로 광원을 발생시키는 (a) 단계와, 상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 (b) 단계와, 상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하는 (c) 단계 및 상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 (d) 단계를 포함하는데, 상기 거리 문턱값(threshold)은 상기 획득한 영상의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따라 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를 추출하는 시스템을 포함하는 이동 로봇은 평면의 형태로 발생된 광원에 의해 반사된 반사체의 영상을 획득하고, 획득한 영상의 픽셀 정보를 이용하여 코너 포인트를 추출하는 코너 포인트 추출 시스템과, 상기 추출된 코너 포인트의 위치에 대응하여 진행 방향과 진행 속도를 결정하는 중앙 제어 시스템 및 상기 중앙 제어 시스템의 결정에 따라 주행을 수행하는 구동 시스템을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
이하, 본 발명의 실시예들에 의하여 코너 포인트를 추출하는 시스템과 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성 하도록 기구를 만들 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
도 3은 본 발명의 실시예에 따른 코너 포인트를 추출하는 시스템(300)을 나타내고, 도 4는 상기 시스템(300)의 블록도를 나타내고 있다.
코너 포인트를 추출하는 시스템(300)은 바람직하게는 이동 로봇에 탑재되어 물체를 인식하거나 충돌을 회피하는데에 이용될 수 있는데, 광원 발생 기기(320)가 레이저(LASER)와 같은 광원을 일정한 형태(바람직하게는 평면 형태)로 장애물(또는 반사체)(330)에 비추고, 장애물(또는 반사체)(330)에 반사된 영상은 카메라(310)에 의해 획득된다.
이러한 시스템을 도 4에서는 블록도로 나타내고 있는데, 카메라(310)와 같이 영상을 획득할 수 있는 영상 획득 모듈(410)과, 도 3의 광원 발생 기기(320)에 대 응하는 광원 발생 모듈(430)과, 도 3에서는 미도시되었으나, 제어 모듈(420)이 코너 포인트를 추출하는 시스템(400)을 구성할 수 있다.
이 때, 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다.  모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다.  따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.  구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 
한편, 제어 모듈(420)은 영상 획득 모듈(410)에 의해 획득된 영상과 광원 발생 기기(320), 장애물(또는 반사체)(330), 영상 획득 기기(310) 사이의 기하학적 관계를 이용하여 광원 발생 기기(320)로부터 장애물(또는 반사체)(330)까지의 거리 데이터를 얻게 된다. 그리고 나서, 상기 거리 데이터로부터 본 발명의 실시예에 따른 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출하기 위한 스플릿-병합(split-merge) 동작을 수행한다.
바람직하게는 제어 모듈(420)은 신호 처리 또는 디지털 신호를 처리하는 장치나 기기 또는 이들을 처리하는 소프트웨어가 될 수 있다.
도 5는 본 발명의 실시예에 따라 코너 포인트를 추출하는 방법을 나타내는 플로우차트이다.
우선 광원 발생 모듈(430)에서 광원을 도 3에서 도시한 장애물(또는 반사체)(330)에 비추고, 영상 획득 모듈(410)이 반사된 영상을 획득한다(S510).
이 때, 획득된 영상에 존재하는 각각의 포인트에 대한 정보는 삼각도 법에 의한 거리 계산법에 의해 평면에서의 좌표값으로 변환되어 거리 데이터를 얻게 된다(S520, S530). 이 때, 상기 평면은 도 3에서 도시한 광원 발생 기기(320)와 장애물(또는 반사체)(330)를 위에서 바라본 평면을 의미한다. 이것을 도 6에서 도시하고 있는데, 영상 획득 모듈(410)에서 획득한 영상(600)에서 임의의 좌표를 [xs ys] T고 하고, 삼각도 법에 의한 변환 함수를 F라고 하면, 평면 좌표(610)는 [Zp Xp] T = F(xs, ys) 로 나타낼 수 있다. 여기서 Z 방향은 레이저(LASER) 발사 지점으로부터 장애물, 즉 발사된 레이저(LASER)에 의해 반사되는 반사체에 대한 거리 방향을 나타낸다. 여기서 F(xs, ys)는 수학식 1과 같이 정의된다.
Figure 112004046936646-PAT00001
여기서 xo와 yo는 영상 중심의 위치 (픽셀 단위), PY는 카메라와 레이저(LASER)를 발사하는 프로젝터 사이의 거리,
Figure 112004046936646-PAT00002
는 카메라의 기울어진 각도, a와 b는 영상 픽셀 단위와 공간 상의 거리와의 비를 나타내는 스케일(scale)에 관련된 상수이다. 여기서 함수 F는 2차원 벡터로서 통상적인 2차원 벡터에 적용되는 덧셈, 뺄셈, 및 절대치 계산이 적용된다.
한편, 제어 모듈(420)은 S530 단계에서 획득한 거리 데이터를 이용하여 가까운 지점에 위치한 포인트들끼리 그룹핑(grouping)하여 다수의 그룹들로 분할한다(S550, S560). 그리고 나서, 종래의 방법과 같은 방법으로 스플릿-병합(split-merge) 과정을 수행하고(S570, S580), 그 결과로서 코너 포인트를 추출할 수 있게 된다(S590).
다만, S550 내지 S580 과정을 수행할 때, 거리 문턱값을 결정하기 위해서는 종래의 방법과는 달리 카메라와 같은 영상 획득 모듈(410)의 픽셀 정보를 이용한다(S540).
즉, 도 5에서 도시한 바와 같이 본 발명의 실시예에 따른 거리 문턱값(threshold)은 |F(xs, ys)-F(xs, ys+1)|에 비례하는 값으로 나타낼 수 있는데, 이 때 , xs와 ys는 상기 획득한 영상에서의 임의의 좌표를 나타내고, ys+1은 상기 ys위치로부터 y방향으로 1픽셀 차이의 거리에 위치한 좌표를 나타내며, 상기 F(a, b)는 [a b]T 좌표값이 삼각도 법에 의해 변환된 새로운 평면, 예컨대 도 6에서의 610과 같은 평면 좌표의 값을 나타낸다.
도 7은 본 발명의 실시예에 따라 광원 발생 기기(320)로부터 반사체까지의 거리와 거리 문턱값(threshold)과의 관계를 나타내는 그래프인데, 이 때, X축은 광원 발생 기기(320)로부터 반사체까지의 거리를 (mm) 단위로 나타내고 있으며, Y축은 거리 문턱값(threshold)을 (mm) 단위로 나타내고 있다.
도 7에서 도시하고 있는 바와 같이, 종래의 방법(710)을 따를 경우에는 X축과 Y축간에 선형적인 특성이 나타나고 있으나, 본 발명(720)을 따를 경우에는 비선형적인 특성이 나타나고 있음을 알 수 있다.
도 8a 내지 도 8d는 본 발명의 실시예에 따라 코너 포인트를 추출하는 과정을 나타내는 그래프이다.
도 8a는 거리 데이터를 획득한 결과를 나타내고 있고, 도 8b는 2개의 그룹으로 그룹핑한 것을 나타내고 있다. 또한, 도 8c에서는 스플릿-병합(split-merge) 과정을 수행한 결과를 나타내고 있으며, 도 8d에서는 그 결과 800으로 표시되고 있는 영역에서 코너 포인트를 추출하였음을 나타내고 있다. 즉, 도 8d를 도 2c와 비교해 보면, 종래의 방법에 따라 거리 문턱값(threshold)을 결정하게 되면 코너 포인트를 추출할 수 없었으나, 본 발명을 따를 경우에는 코너 포인트를 비교적 정확하게 추 출할 수 있게 된다.
도 9a 및 도 9b는 본 발명의 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 9a는 종래의 방법에 의해 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있고, 도 9b는 본 발명의 실시예에 따라 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있는데, 본 발명을 따를 경우 도 9b의 900으로 표시되고 있는 영역에서 코너 포인트를 추출할 수 있게 된다.
도 10a 및 도 10b는 본 발명의 또다른 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 10a는 종래의 방법에 의해 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있고, 도 10b는 본 발명의 실시예에 따라 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있는데, 본 발명을 따를 경우 도 10b의 1000으로 표시되고 있는 영역에서 코너 포인트를 추출할 수 있게 된다.
도 11a 및 도 11b는 본 발명의 또다른 실시예에 따라 코너 포인트를 추출한 결과를 종래의 것과 비교한 그래프이다.
도 11a는 종래의 방법에 의해 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있고, 도 11b는 본 발명의 실시예에 따라 결정된 거리 문턱값(threshold)을 이용하여 코너 포인트를 추출한 결과를 나타내고 있는데, 본 발명을 따를 경우 도 11b의 1100으로 표시되고 있는 영역에서 코너 포인트를 추출할 수 있게 된다.
한편, 이동 로봇은 본 발명의 실시예에 따른 코너 포인트를 추출하는 시스템을 포함할 수 있는데, 도 12에서 이를 나타내고 있다.
본 발명의 실시예에 따른 이동 로봇(1200)은 코너 포인트 추출 시스템(1210)과, 중앙 제어 시스템(1220)과, 구동 시스템(1230)을 포함한다.
코너 포인트 추출 시스템(1210)은 도 4에서 도시하고 있는 시스템(400)을 나타내고 있는데, 도 4에서 설명한 바와 같이 평면의 형태로 발생된 광원에 의해 반사된 반사체의 영상을 획득하고, 획득한 영상의 픽셀 정보를 이용하여 코너 포인트를 추출하게 된다.
코너 포인트 추출 시스템(1210)에서 추출된 코너 포인트에 대한 정보는 중앙 제어 시스템(1220)으로 전달되고, 중앙 제어 시스템(1220)은 상기 정보에 따라 이동 로봇(1200)의 진행 방향과 진행 속도를 결정한다.
그리고 나서, 중앙 제어 시스템(1220)이 결정된 진행 방향과 진행 속도를 구동 시스템(1230)으로 전달하면, 구동 시스템(1230)은 상기 전달된 정보에 따라 이동 로봇(1200)의 주행을 수행하게 된다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정하는 것은 아니다.
본 발명의 실시에 따라 카메라의 픽셀 정보를 이용함으로써 공간상의 코너 포인트를 보다 정확하게 추출할 수 있는 효과가 있다.

Claims (16)

  1. 평면의 형태로 광원을 발생시키는 광원 발생 모듈;
    상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 영상 획득 모듈; 및
    상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하고, 상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 제어 모듈을 포함하는데,
    상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값인 코너 포인트 추출 시스템.
  2. 제1항에 있어서,
    상기 광원은 레이저(LASER)인 코너 포인트 추출 시스템.
  3. 제1항에 있어서,
    상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 1 픽셀 거리에 대응하는 거리 데이터에 비례하는 값인 코너 포인트 추출 시스템.
  4. 제1항에 있어서,
    상기 거리 문턱값(threshold)은 |F(xs, ys)-F(xs, ys+1)|에 비례하는 값으로 나타내는데, xs와 ys는 상기 획득한 영상에서의 임의의 좌표를 나타내고, ys +1은 상기 ys위치로부터 y방향으로 1픽셀 차이의 거리에 위치한 좌표를 나타내며, 상기 F(a, b)는 [a b]T 좌표값이 삼각도 법에 의해 변환된 새로운 평면 좌표값을 나타내는 코너 포인트 추출 시스템.
  5. 제1항에 있어서,
    상기 제어 모듈은 상기 획득한 영상의 좌표값을 이용하여 삼각도 법을 적용함으로써 반사체까지의 거리 데이터를 획득하는 코너 포인트 추출 시스템.
  6. 평면의 형태로 광원을 발생시키는 (a) 단계;
    상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 (b) 단계;
    상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하는 (c) 단계;
    상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 (d) 단계를 포함하는데,
    상기 거리 문턱값(threshold)은 상기 획득한 영상의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값인 코너 포인트 추출 방법.
  7. 제6항에 있어서,
    상기 광원은 레이저(LASER)인 코너 포인트 추출 방법.
  8. 제6항에 있어서,
    상기 거리 문턱값(threshold)은 상기 획득한 영상의 1 픽셀 거리에 대응하는 거리 데이터에 비례하는 값인 코너 포인트 추출 방법.
  9. 제6항에 있어서,
    상기 거리 문턱값(threshold)은 |F(xs, ys)-F(xs, ys+1)|에 비례하는 값으로 나타내는데, xs와 ys는 상기 획득한 영상에서의 임의의 좌표를 나타내고, ys +1은 상기 ys위치로부터 y방향으로 1픽셀 차이의 거리에 위치한 좌표를 나타내며, 상기 F(a, b)는 [a b]T 좌표값이 삼각도 법에 의해 변환된 새로운 평면 좌표값을 나타내는 코너 포인트 추출 방법.
  10. 제6항에 있어서,
    상기 (c) 단계는 상기 획득한 영상의 좌표값을 이용하여 삼각도 법을 적용함으로써 반사체까지의 거리 데이터를 획득하는 코너 포인트 추출 방법.
  11. 평면의 형태로 발생된 광원에 의해 반사된 반사체의 영상을 획득하고, 획득한 영상의 픽셀 정보를 이용하여 코너 포인트를 추출하는 코너 포인트 추출 시스템;
    상기 추출된 코너 포인트의 위치에 대응하여 진행 방향과 진행 속도를 결정하는 중앙 제어 시스템; 및
    상기 중앙 제어 시스템의 결정에 따라 주행을 수행하는 구동 시스템을 포함하는 이동 로봇.
  12. 제11항에 있어서,
    상기 코너 포인트 추출 시스템은
    평면의 형태로 광원을 발생시키는 광원 발생 모듈;
    상기 발생된 광원에 의해 반사된 반사체의 영상을 획득하는 영상 획득 모듈; 및
    상기 획득한 영상을 이용하여 반사체까지의 거리 데이터를 획득하고, 상기 획득한 거리 데이터에 비례하는 거리 문턱값(threshold)을 기준으로 하여 스플릿트-병합(split-merge) 방법을 이용함으로써 코너 포인트를 추출하는 제어 모듈을 포함하는데,
    상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 픽셀 정보에 대응하는 거리 데이터에 비례하는 값인 이동 로봇.
  13. 제12항에 있어서,
    상기 광원은 레이저(LASER)인 이동 로봇.
  14. 제12항에 있어서,
    상기 거리 문턱값(threshold)은 상기 영상 획득 모듈의 1 픽셀 거리에 대응하는 거리 데이터에 비례하는 값인 이동 로봇.
  15. 제12항에 있어서,
    상기 거리 문턱값(threshold)은 |F(xs, ys)-F(xs, ys+1)|에 비례하는 값으로 나타내는데, xs와 ys는 상기 획득한 영상에서의 임의의 좌표를 나타내고, ys +1은 상기 ys위치로부터 y방향으로 1픽셀 차이의 거리에 위치한 좌표를 나타내며, 상기 F(a, b)는 [a b]T 좌표값이 삼각도 법에 의해 변환된 새로운 평면 좌표값을 나타내는 이동 로봇.
  16. 제12항에 있어서,
    상기 제어 모듈은 상기 획득한 영상의 좌표값을 이용하여 삼각도 법을 적용함으로써 반사체까지의 거리 데이터를 획득하는 이동 로봇.
KR1020040082646A 2004-10-15 2004-10-15 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇 KR100587572B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040082646A KR100587572B1 (ko) 2004-10-15 2004-10-15 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇
US11/237,660 US7653247B2 (en) 2004-10-15 2005-09-29 System and method for extracting corner point in space using pixel information, and robot using the system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040082646A KR100587572B1 (ko) 2004-10-15 2004-10-15 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇

Publications (2)

Publication Number Publication Date
KR20060033497A true KR20060033497A (ko) 2006-04-19
KR100587572B1 KR100587572B1 (ko) 2006-06-08

Family

ID=36180809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040082646A KR100587572B1 (ko) 2004-10-15 2004-10-15 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇

Country Status (2)

Country Link
US (1) US7653247B2 (ko)
KR (1) KR100587572B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120961A3 (en) * 2007-04-03 2008-11-27 Lg Electronics Inc Moving robot and operating method for same
US8352075B2 (en) 2008-11-03 2013-01-08 Samsung Electronics Co., Ltd. Apparatus and method for extracting feature information of object and apparatus and method for creating feature map

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100587572B1 (ko) * 2004-10-15 2006-06-08 삼성전자주식회사 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇
KR100745975B1 (ko) * 2004-12-30 2007-08-06 삼성전자주식회사 그리드 맵을 사용하여 최소 이동 경로로 이동하는 방법 및장치
ES2614228B2 (es) * 2016-09-13 2018-01-09 Defensya Ingeniería Internacional, S.L. Dispositivo para la creación de señalización luminosa en el espacio circundante a uno o más vehículos
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
CN116819025B (zh) * 2023-07-03 2024-01-23 中国水利水电科学研究院 一种基于物联网的水质监测系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4119900A (en) * 1973-12-21 1978-10-10 Ito Patent-Ag Method and system for the automatic orientation and control of a robot
JPS60137828A (ja) * 1983-12-21 1985-07-22 Japan Exlan Co Ltd コロイド状酸化アンチモンの製造法
JPS60151711A (ja) 1984-01-19 1985-08-09 Hitachi Ltd ロボツト手先視覚座標系較正方式
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
JPH0929673A (ja) * 1995-07-10 1997-02-04 Mitsubishi Heavy Ind Ltd マニピュレータ制御装置
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
AU2003256435A1 (en) * 2002-08-16 2004-03-03 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
KR100587572B1 (ko) * 2004-10-15 2006-06-08 삼성전자주식회사 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇
KR100703692B1 (ko) * 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
KR100643305B1 (ko) * 2005-02-14 2006-11-10 삼성전자주식회사 컨볼루션 커널을 이용한 라인 패턴 처리 방법 및 장치
KR100801087B1 (ko) * 2006-07-05 2008-02-11 삼성전자주식회사 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120961A3 (en) * 2007-04-03 2008-11-27 Lg Electronics Inc Moving robot and operating method for same
US8676380B2 (en) 2007-04-03 2014-03-18 Lg Electronics Inc. Moving robot and operating method for same
US8352075B2 (en) 2008-11-03 2013-01-08 Samsung Electronics Co., Ltd. Apparatus and method for extracting feature information of object and apparatus and method for creating feature map

Also Published As

Publication number Publication date
US7653247B2 (en) 2010-01-26
US20060083427A1 (en) 2006-04-20
KR100587572B1 (ko) 2006-06-08

Similar Documents

Publication Publication Date Title
KR100773184B1 (ko) 자율 이동로봇
Prusak et al. Pose estimation and map building with a time-of-flight-camera for robot navigation
Fu et al. An integrated triangulation laser scanner for obstacle detection of miniature mobile robots in indoor environment
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
US7653247B2 (en) System and method for extracting corner point in space using pixel information, and robot using the system
Forouher et al. Sensor fusion of depth camera and ultrasound data for obstacle detection and robot navigation
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
Miądlicki et al. Real-time ground filtration method for a loader crane environment monitoring system using sparse LIDAR data
Khan et al. Stereovision-based real-time obstacle detection scheme for unmanned ground vehicle with steering wheel drive mechanism
CN111709988B (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
Kim et al. High-precision underwater 3d mapping using imaging sonar for navigation of autonomous underwater vehicle
Kubertschak et al. Towards a unified architecture for mapping static environments
Tsukiyama Global navigation system with RFID tags
Wang et al. What Makes Robots? Sensors, Actuators, and Algorithms
Kita et al. Obstacle detection for a bipedal walking robot by a fisheye stereo
Hoang et al. Proposal of algorithms for navigation and obstacles avoidance of autonomous mobile robot
Son et al. Optimized robot mapping and obstacle avoidance using stereo vision
Wang Autonomous mobile robot visual SLAM based on improved CNN method
Yang et al. A new algorithm for obstacle segmentation in dynamic environments using a RGB-D sensor
Titov et al. Multispectral optoelectronic device for controlling an autonomous mobile platform
Joung et al. An active omni-directional range sensor for mobile robot navigation
Abukhalil et al. Robot navigation system using laser and monocular camera
Vestli Fast, accurate and robust estimation of mobile robot position and orientation
Hata et al. Outdoor mapping using mobile robots and laser range finders
Rodríguez-Quiñonez Intelligent automatic object tracking method by integration of laser scanner system and ins

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160420

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170418

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 14