KR20110087893A - 복합 센서의 캘리브레이션 장치 및 방법 - Google Patents

복합 센서의 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20110087893A
KR20110087893A KR1020100007538A KR20100007538A KR20110087893A KR 20110087893 A KR20110087893 A KR 20110087893A KR 1020100007538 A KR1020100007538 A KR 1020100007538A KR 20100007538 A KR20100007538 A KR 20100007538A KR 20110087893 A KR20110087893 A KR 20110087893A
Authority
KR
South Korea
Prior art keywords
feature point
sensor
extracting
line
data
Prior art date
Application number
KR1020100007538A
Other languages
English (en)
Other versions
KR101658578B1 (ko
Inventor
김동조
박동렬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100007538A priority Critical patent/KR101658578B1/ko
Priority to US12/926,744 priority patent/US8639021B2/en
Publication of KR20110087893A publication Critical patent/KR20110087893A/ko
Application granted granted Critical
Publication of KR101658578B1 publication Critical patent/KR101658578B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

리그(rig) 없이 좌표 변환 파라미터를 계산할 수 있는 캘리브레이션 장치 및 방법이 개시된다. 개시된 캘리브레이션 장치 및 방법은 제 1 데이터에서 평명을 토대로 제 1 특징점을 추출하고, 제 1 특징점을 제 2 데이터에 투영한 후, 제 1 특징점이 투영된 부분에서 제 2 특징점을 추출한다. 그리고 추출된 특징점들을 기초로 캘리브레이션을 수행하기 때문에 리그와 같은 별도의 장비 없이도 캘리브레이션을 필요에 따라 즉각적으로 수행하는 것이 가능하다.

Description

복합 센서의 캘리브레이션 장치 및 방법{Apparatus and Method for calibration of composite sensor}
서로 다른 종류의 센서로부터 획득된 데이터를 정확하게 결합하기 위한 센서 캘리브레이션 기술과 관련된다.
로봇이란 사람의 모습을 한 인형 내부에 기계장치를 조립해 넣고, 손발과 그 밖의 부분을 본래의 사람과 마찬가지로 동작하도록 만든 자동인형을 말한다. 그러나 최근에는 사람의 모습 여부를 떠나서 자율적으로 어떠한 임무를 수행하는 자동 장치를 로봇으로 통칭하게 되었다.
이동 로봇은 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 많은 각광을 받고 있다. 또한, 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 가정용 이동 로봇도 다수 보급되었다.
이동 로봇이 자율적으로 이동하면서 임무를 수행하기 위해서는 자기 위치 인식 기술이 필수적이다. 또한 이동 로봇이 자기 위치를 인식하기 위해서는 각종 센서를 이용해서 주변 환경에 대한 정보를 획득해야 한다. 최근에는 서로 다른 종류의 센서를 결합한 복합 센서를 이용해서 주변 환경 정보를 취득하는 추세이다.
서로 다른 종류의 센서로부터 얻어진 데이터를 정확하게 결합하기 위해서는 캘리브레이션 과정이 수반된다. 캘리브레이션이란 어떤 센서의 중심 좌표를 다른 센서의 중심 좌표와 일치시켜주는 과정이 될 수 있다. 캘리브레이션은 동일한 격자 무늬가 반복되는 리그(rig)를 정해진 거리에 놓고, 서로 다른 센서가 리그에 대한 정보를 획득하는 방식으로 수행되는 것이 대표적이다.
리그와 같은 별도의 도구 없이도 캘리브레이션을 수행할 수 있는 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 캘리브레이션 장치는, 거리 센서로부터 얻어진 레인지 데이터에서 적어도 1개의 평면을 추출하는 평면 추출부, 평면에 기초하여 레인지 데이터에서 제 1 특징점을 추출하는 제 1 특징점 추출부, 제 1 특징점을 이미지 센서로부터 얻어진 이미지 데이터에 투영하고, 제 1 특징점이 투영된 부분의 이미지 데이터에서 제 1 특징점에 대응되는 제 2 특징점을 추출하는 제 2 특징점 추출부, 및 제 1 특징점 및 제 2 특징점을 이용하여 거리 센서와 이미지 센서 간의 좌표 변환 파라미터를 계산하는 변환 파라미터 계산부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 캘리브레이션 장치는, 거리 센서로부터 얻어진 레인지 데이터에서 적어도 1개의 평면을 추출하는 평면 추출부, 평면에 기초하여 레인지 데이터에서 제 1 특징점을 추출하는 제 1 특징점 추출부, 평면에 기초하여 레인지 데이터에서 제 1 라인을 추출하는 제 1 라인 추출부, 제 1 라인을 이미지 센서로부터 얻어진 이미지 데이터에 투영하고, 제 1 라인이 투영된 부분의 이미지 데이터에서 제 1 라인에 대응되는 제 2 라인을 추출하는 제 2 라인 추출부, 제 2 라인에 기초하여 제 1 특징점에 대응되는 제 2 특징점을 추출하는 제 2 특징점 추출부, 및 제 1 특징점 및 제 2 특징점을 이용하여 거리 센서와 이미지 센서 간의 좌표 변환 파라미터를 계산하는 변환 파라미터 계산부를 포함할 수 있다.
또한, 본 발명의 일 양상에 따른 캘리브레이션 방법은, 거리 센서로부터 얻어진 레인지 데이터에서 적어도 1개의 평면을 추출하는 단계, 평면에 기초하여 레인지 데이터에서 제 1 특징점을 추출하는 단계, 제 1 특징점을 이미지 센서로부터 얻어진 이미지 데이터에 투영하고, 제 1 특징점이 투영된 부분의 이미지 데이터에서 제 1 특징점에 대응되는 제 2 특징점을 추출하는 단계, 및 제 1 특징점 및 제 2 특징점을 이용하여 거리 센서와 이미지 센서 간의 좌표 변환 파라미터를 계산하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 캘리브레이션 방법은, 거리 센서로부터 얻어진 레인지 데이터에서 적어도 1개의 평면을 추출하는 단계, 평면에 기초하여 레인지 데이터에서 제 1 특징점을 추출하는 단계, 평면에 기초하여 레인지 데이터에서 제 1 라인을 추출하는 단계, 제 1 라인을 이미지 센서로부터 얻어진 이미지 데이터에 투영하고, 제 1 라인이 투영된 부분의 이미지 데이터에서 제 1 라인에 대응되는 제 2 라인을 추출하는 단계, 제 2 라인에 기초하여 제 1 특징점에 대응되는 제 2 특징점을 추출하는 단계, 및 제 1 특징점 및 제 2 특징점을 이용하여 거리 센서와 이미지 센서 간의 좌표 변환 파라미터를 계산하는 단계를 포함할 수 있다.
한편, 본 발명의 일 양상에 따라, 제 1 라인은 레인지 데이터에서 두 개의 평면이 만나는 부분을 기초로 검출되고, 제 1 특징점은 레인지 데이터에서 세 개의 평면이 만나는 부분을 기초로 검출될 수 있다.
또한, 본 발명의 일 양상에 따라, 좌표 변환 계산부는, 제 1 특징점과 제 2 특징점의 좌표 차이가 제 1 임계값 이하인 경우, 제 1 특징점과 제 2 특징점을 등록하고, 등록된 제 1 특징점과 제 2 특징점의 개수가 제 2 임계값 이상인 경우, 등록된 제 1 특징점 및 등록된 제 2 특징점을 이용해서 좌표 변환 파라미터를 계산할 수 있다.
개시된 내용에 의하면, 리그와 같은 별도의 도구 없이도 주변 환경을 이용해서 자동으로 캘리브레이션이 이루어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇의 구성을 도시한다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션의 개념을 도시한다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성을 도시한다.
도 4는 본 발명의 다른 실시예에 따른 캘리브레이션 장치의 구성을 도시한다.
도 5a 내지 도 5f는 본 발명의 일 실시예에 따른 레인지 데이터 및 이미지 데이터를 도시한다.
도 6은 본 발명의 일 실시예에 따른 캘리브레이션 방법의 흐름을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 캘리브레이션 방법의 흐름을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 구성을 도시한다.
도 1을 참조하면, 로봇(100)은 센서부(101), 위치 인식부(102), 및 주행부(103)를 포함한다.
센서부(101)는 환경 정보를 검출한다. 센서부(101)는 서로 다른 종류의 센서로 구성된 복합 센서일 수 있다. 센서부(101)는 3D 거리 센서(111) 및 이미지 센서(121)를 포함할 수 있다.
3D 거리 센서(111)는 주변 환경에 대한 거리를 측정해서 레인지 데이터(range data)를 획득한다. 레인지 데이터는 거리에 따라 색상, 채도, 및 명도 중 어느 하나가 다르게 표현된 소정의 영상이 될 수 있다. 예를 들어, 3D 거리 센서(111)는 서로 다른 위치에서 측정 대상 물체로 빛을 방출하고, 측정 대상 물체로부터 반사된 빛을 검출한 후, 빛의 방출 시각과 검출 시각 사이의 시간차 또는 빛의 방출 부분과 검출 부분 사이의 거리차에 기초한 삼각법을 토대로 측정 대상 물체까지의 3차원 거리를 측정할 수 있다.
이미지 센서(121)는 주변 환경을 촬영하여 이미지 데이터(image data)를 획득한다. 이미지 센서(121)는 입사되는 빛을 감지하고 감지된 빛에 대응되는 영상 신호를 생성하는 광 검출 소자(예컨대, CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 등)를 포함할 수 있다.
위치 인식부(102)는 센서부(101)에 의해 획득된 주변 환경 정보를 기초로 로봇(100)의 위치를 인식한다. 위치 인식부(102)는 캘리브레이션부(112) 및 SLAM부(122)를 포함할 수 있다.
캘리브레이션부(112)는 3D 거리 센서(111)의 기준 좌표와 이미지 센서(121)의 기준 좌표를 일치시킨다. 예를 들어, 캘리브레이션부(112)는 레인지 데이터 상의 특정한 점이 이미지 데이터 상에서 어느 부분에 대응되는지를 검출하고, 검출 결과를 토대로 3D 거리 센서(111)의 좌표계와 이미지 센서(121)의 좌표계 간의 좌표 변환 파라미터를 계산하는 것이 가능하다.
SLAM부(121)는 기준 좌표가 일치된 레인지 데이터와 이미지 데이터를 이용해서 로봇(100)의 위치를 인식함과 동시에 지도를 작성한다. 예컨대, SLAM부(121)는 확장 칼만 필터 기반의 동시적 위치 추적 및 지도 작성(simultaneous localization and mapping, SLAM) 기법을 이용하여 지도를 작성함과 동시에 로봇(100)의 위치를 인식할 수 있다.
주행부(103)는 환경 인식부(102)의 환경 인식 결과에 따라 로봇(100)이 적절하게 이동할 수 있도록 해준다. 예컨대, 주행부(103)는 로봇의 동력을 제공하는 부분으로 바퀴, 방향 제어 장치, 구동모터 등으로 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션의 개념을 도시한다.
도 2를 참조하면, 참조번호 201은 3D 거리 센서(111)에 의해 획득된 레인지 데이터를 나타내고, 참조번호 202는 이미지 센서(121)에 의해 획득된 이미지 데이터를 나타낸다.
3D 거리 센서(111)와 이미지 센서(121)의 형성 위치가 서로 상이하고, 각각의 좌표계 역시 서로 상이하기 때문에, 3D 거리 센서(111)와 이미지 센서(121)는 동일한 지점을 서로 다른 좌표로 표현할 수 있다. 예를 들어, P1과 P2는 동일한 물체의 동일한 부분임에도 불구하고 레인지 데이터(201) 상의 P1과 이미지 데이터(202) 상의 P2는 그 좌표값이 서로 다를 수 있다.
캘리브레이션이란 P1 좌표와 P2 좌표를 일치시키기 위한 좌표 변환 파라미터를 구하는 과정이 될 수 있다. 예컨대, P1 좌표와 P2 좌표를 일치시키기 위해 도 2에 나타난 식과 같이 회전 이동 변환 값인 R과 평행 이동 변환 값인 T를 구하면 3D 거리 센서(111)와 이미지 센서(121)가 캘리브레이션된 것으로 볼 수 있다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 장치를 도시한다.
도 3을 참조하면, 캘리브레이션 장치(300)는 제 1 데이터 저장부(301), 제 2 데이터 저장부(302), 평면 추출부(303), 제 1 특징점 추출부(304), 제 2 특징점 추출부(305), 및 변환 파라미터 계산부(306)를 포함한다.
제 1 데이터 저장부(301)는 제 1 센서로부터 제 1 데이터를 수신한다. 예를 들어, 제 1 데이터 저장부(301)는 3D 거리 센서(111)로부터 레인지 데이터를 수신하고, 수신된 레인지 데이터를 저장할 수 있다. 제 1 데이터 저장부(301)는 특정한 프레임 단위로 레인지 데이터를 저장하는 버퍼 메모리가 될 수 있다.
제 2 데이터 저장부(302)는 제 1 센서와 상이한 제 2 센서로부터 제 2 데이터를 수신한다. 예를 들어, 제 2 데이터 저장부(302)는 이미지 센서(121)로부터 이미지 데이터를 수신하고, 수신된 이미지 데이터를 저장할 수 있다. 제 2 데이터 저장부(302)는 특정한 프레임 단위로 이미지 데이터를 저장하는 버퍼 메모리가 될 수 있다.
평면 추출부(303)는 제 1 데이터에서 다수의 평면을 추출한다. 예를 들어, 평면 추출부(303)는 거리 정보를 토대로 레인지 데이터에 평면 검출 알고리즘을 적용하여 다수의 평면을 추출할 수 있다.
제 1 특징점 추출부(304)는 제 1 데이터에서 제 1 특징점을 추출한다. 제 1 특징점은 도 2의 P1과 같이 캘리브레이션을 위한 후보 특징점이 될 수 있다. 제 1 특징점 추출부(304)는 평면 추출부(303)가 추출한 평면을 이용해서 제 1 특징점을 추출할 수 있다. 예컨대, 제 1 특징점 추출부(304)는 3개의 평면이 만나는 점을 제 1 특징점으로 추출할 수 있다.
제 2 특징점 추출부(305)는 제 1 특징점에 대응되는 제 2 특징점을 제 2 데이터에서 추출한다. 제 2 특징점은 도 2의 P2와 같이 캘리브레이션을 위한 후보 특징점이 될 수 있다. 제 2 특징점 추출부(305)는 제 1 특징점을 제 2 데이터에 투영(projection)하고, 제 1 특징점이 투영된 부분에 코너 검출 알고리즘을 적용해서 제 2 특징점을 추출할 수 있다.
변환 파라미터 계산부(306)는 제 1 데이터의 제 1 특징점 및 제 2 데이터의 제 2 특징점을 이용해서 제 1 센서와 제 2 센서 간의 좌표 변환 파라미터를 계산한다.
변환 파라미터 계산부(306)는 다수의 제 1 특징점 및 제 2 특징점을 등록하고, 등록된 다수의 제 1 특징점 및 제 2 특징점을 이용해서 좌표 변환 파라미터를 구할 수 있다. 예를 들어, 변화 파라미터 계산부(306)는 추출된 제 1 특징점과 제 2 특징점 간의 좌표를 비교하여 그 좌표의 차이가 제 1 임계값 이하인 경우 추출된 제 1 특징점과 제 2 특징점을 등록한다. 그리고 등록된 특징점들의 개수가 제 2 임계값 이상이 되면, 도 2의 수학식을 행렬 방정식 형태로 표현한 후 행렬 방정식을 풀어서 R과 T를 구하는 것이 가능하다.
도 4는 본 발명의 다른 실시예에 따른 캘리브레이션 장치를 도시한다.
도 4를 참조하면, 캘리브레이션 장치(400)는 제 1 데이터 저장부(301), 제 2 데이터 저장부(302), 평면 추출부(303), 제 1 특징점 추출부(401), 제 1 라인 추출부(402), 제 2 라인 추출부(403), 제 2 특징점 추출부(404), 및 변환 파라미터 계산부(405)를 포함한다.
제 1 데이터 저장부(301), 제 2 데이터 저장부(302), 및 평면 추출부(303)는 도 3에서 설명한 것과 동일하다. 그리고 제 1 특징점 추출부(401) 역시, 도 3과 마찬가지로, 평면 추출부(303)가 추출한 평면들 중에서 적어도 3개의 평면을 이용하여 레인지 데이터에서 제 1 특징점을 추출할 수 있다.
제 1 라인 추출부(402)는 평면 추출부(303)가 추출한 제 1 데이터의 평면을 기초로 제 1 라인을 추출한다. 예컨대, 제 1 라인 추출부(402)는 두 개의 평면이 만나는 선을 제 1 라인으로 추출할 수 있다.
제 2 라인 추출부(403)는 제 1 라인에 대응되는 제 2 라인을 제 2 데이터에서 추출한다. 예컨대, 제 2 라인 추출부(403)는 추출된 제 1 라인을 제 2 데이터에 투영하고 제 1 라인이 투영된 부분에 선 검출 알고리즘을 적용하여 제 2 라인을 추출하는 것이 가능하다.
제 2 특징점 추출부(404)는 제 1 특징점에 대응되는 제 2 특징점을 추출한다. 예컨대, 제 2 특징점 추출부(404)는 적어도 3개의 제 2 라인이 만나는 지점을 제 2 특징점으로 추출할 수 있다.
변환 파라미터 계산부(405)는 추출된 제 1 특징점 및 제 2 특징점을 이용하여 캘리브레이션을 위한 좌표 변환 파라미터를 계산한다. 예를 들어, 변화 파라미터 계산부(306)는 추출된 제 1 특징점과 제 2 특징점 간의 좌표를 비교하여 그 좌표의 차이가 제 1 임계값 이하인 경우 추출된 제 1 특징점과 제 2 특징점을 등록한다. 그리고 등록된 특징점들의 개수가 제 2 임계값 이상이 되면, 도 2의 수학식을 행렬 방정식 형태로 표현한 후 행렬 방정식을 풀어서 R과 T를 구하는 것이 가능하다.
도 5는 본 발명의 일 실시예에 따른 레인지 데이터 및 이미지 데이터를 도시한다.
도 5a를 참조하면, 평면 추출부(303)는 제 1 데이터 저장부(301)에 저장된 레인지 데이터(501)에서 평면(511, 521, 531, 541)을 추출한다.
도 5b를 참조하면, 제 1 특징점 추출부(401)는 추출된 평면(511, 521, 531, 541)에 기초하여 제 1 특징점(PL1, PL2)을 추출한다. 예를 들어, 평면 511, 평면 541, 및 평면 521이 만나는 점을 PL1으로 추출하고, 평면 511, 평면 531, 및 평면 521이 만나는 점을 PL2로 추출할 수 있다.
도 5c를 참조하면, 제 1 라인 추출부(402)는 추출된 평면(511, 521, 531, 541)에 기초하여 제 1 라인(LL1, LL2, LL3, LL4, LL5)을 추출한다. 예를 들어, 평면 511 및 평면 541이 만나는 선을 LL1으로 추출하고, 평면 541 및 평면 521이 만나는 선을 LL2로 추출하고, 평면 511 및 평면 521이 만나는 선을 LL3으로 추출하고, 평면 531 및 평면 521이 만나는 선을 LL4로 추출하고, 평면 531 및 평면 511이 만나는 선을 LL5로 추출할 수 있다.
도 5d를 참조하면, 제 2 라인 추출부(403)는 제 1 라인(LL1, LL2, LL3, LL4, LL5)을 제 2 데이터 저장부(302)에 저장된 이미지 데이터(502)에 투영한다.
도 5e를 참조하면, 제 2 라인 추출부(403)는 제 1 라인(LL1, LL2, LL3, LL4, LL5)이 투영된 부분(503)에서 이미지 데이터(502)의 제 2 라인(CL1, CL2, CL3, CL4, CL5)을 추출한다.
도 5f를 참조하면, 제 2 특징점 추출부(404)는 제 2 라인(CL1, CL2, CL3, CL4, CL5)을 이용해서 제 2 특징점(PC1, PC2)을 추출한다. 예를 들어, 라인 CL1, 라인 CL2, 및 라인 CL3가 만나는 점을 PC1으로 추출하고, 라인 CL3, 라인 CL4, 및 라인 CL5가 만나는 점을 PC2로 추출할 수 있다.
도 5b 및 도 5f를 참조하면, 변환 파라미터 계산부(405)는 제 1 특징점(PL1, PL2)과 제 2 특징점(PC1, PC2)을 이용해서 캘리브래이션을 위한 좌표 변환 파라미터를 계산한다.
도 5a 내지 도 5f에서, 소정의 라인을 투영하고 투영된 라인에 기초하여 제 1 특징점에 대응되는 제 2 특징점을 찾는 것을 예시하였다. 그러나 반드시 이에 한정되는 것은 아니다. 예컨대, 추출된 제 1 특징점(PL1, PL2)을 이미지 데이터(502)에 투영한 후, 제 1 특징점(PL1, PL2)이 투영된 부분에 코너 검출 알고리즘을 적용해서 제 2 특징점(PC1, PC2)을 추출할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 캘리브레이션 방법을 도시한다.
도 6을 참조하면, 캘리브레이션 방법(600)은 제 1 데이터에서 평면을 추출한다(601). 예컨대, 평면 추출부(303)가 레인지 데이터에 평면 검출 알고리즘을 적용해서 다수의 평면을 추출할 수가 있다.
그리고 캘리브레이션 방법(600)은 추출된 평면을 이용하여 다수의 제 1 특징점을 추출한다(602). 예컨대, 제 1 특징점 추출부(304)가 3개의 평면이 만나는 점을 제 1 특징점으로 추출하는 것이 가능하다.
그리고 캘리브레이션 방법(600)은 제 1 특징점을 제 2 데이터에 투영한다(603). 예컨대, 제 2 특징점 추출부(305)가 레인지 데이터 상의 제 1 특징점을 이미지 데이터로 투영할 수 있다.
그리고 캘리브레이션 방법(600)은 제 1 특징점이 투영된 부분에 코너 검출 알고리즘을 적용하여 제 1 특징점에 대응되는 제 2 특징점을 추출한다(604).
그리고 캘리브레이션 방법(600)은 제 1 특징점과 제 2 특징점 간의 좌표 차이를 비교한다(605). 비교 결과, 좌표 차이가 제 1 임계값 이하인 경우 추출된 제 1 특징점과 제 2 특징점을 등록한다(606).
그리고 캘리브레이션 방법(600)은 등록된 제 1 특징점 및 제 2 특징점의 개수가 제 2 임계값 이상인지 여부를 판단한다(607). 판단 결과, 제 1 특징점 및 제 2 특징점의 개수가 제 2 임계값 이상임면, 등록된 제 1 특징점 및 제 2 특징점을 이용해서 좌표 변환 파라미터를 계산한다(608).
도 7은 본 발명의 다른 실시예에 따른 캘리브레이션 방법을 도시한다.
도 7을 참조하면, 캘리브레이션 방법(700)은 제 1 데이터에서 평면을 추출한다(701). 예컨대, 평면 추출부(303)가 레인지 데이터에 평면 검출 알고리즘을 적용해서 다수의 평면을 추출할 수가 있다.
그리고 캘리브레이션 방법(700)은 추출된 평면을 이용하여 다수의 제 1 특징점을 추출한다(702). 예컨대, 제 1 특징점 추출부(401)가 3개의 평면이 만나는 점을 제 1 특징점으로 추출하는 것이 가능하다.
또한 캘리브레이션 방법(700)은 추출된 평면을 이용하여 다수의 제 1 라인을 추출한다(703). 예컨대, 제 1 라인 추출부(402)가 2개의 평면이 만나는 선을 제 1 라인으로 추출하는 것이 가능하다.
그리고 캘리브레이션 방법(700)은 제 1 라인을 제 2 데이터에 투영한다(704). 예컨대, 제 2 라인 추출부(403)가 레인지 데이터 상의 제 1 라인을 이미지 데이터로 투영할 수 있다.
그리고 캘리브레이션 방법(700)은 제 2 데이터에서 제 1 라인에 대응되는 제 2 라인을 추출한다(705). 예컨대, 제 2 라인 추출부(403)가 제 1 라인이 투영된 부분에 직선 검출 알고리즘을 적용해서 제 2 라인을 추출하는 것이 가능하다.
그리고 캘리브레이션 방법(700)은 제 2 라인을 이용하여 제 1 특징점에 대응되는 제 2 특징점을 추출한다(706). 예컨대, 제 2 특징점 추출부(404)가 3개의 제 2 라인이 만나는 지점을 제 2 특징점으로 추출할 수 있다.
그리고 캘리브레이션 방법(700)은 제 1 특징점과 제 2 특징점 간의 좌표 차이를 비교한다(605). 비교 결과, 좌표 차이가 제 1 임계값 이하인 경우 추출된 제 1 특징점과 제 2 특징점을 등록한다(606). 그리고 캘리브레이션 방법(700)은 등록된 제 1 특징점 및 제 2 특징점의 개수가 제 2 임계값 이상인지 여부를 판단한다(607). 판단 결과, 제 1 특징점 및 제 2 특징점의 개수가 제 2 임계값 이상임면, 등록된 제 1 특징점 및 제 2 특징점을 이용해서 좌표 변환 파라미터를 계산한다(608).
이와 같이 개시된 캘리브레이션 장치 및 방법은 레인지 데이터에서 평면을 기초로 검출된 특징점을 이미지 데이터에서 찾은 후, 찾아진 특징점들을 기초로 캘리브레이션을 수행하기 때문에 리그와 같은 별도의 장비 없이도 캘리브레이션을 필요에 따라 즉각적으로 수행하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (18)

  1. 제 1 센서로부터 얻어진 제 1 데이터에서 적어도 1개의 평면을 추출하는 평면 추출부;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 특징점을 추출하는 제 1 특징점 추출부;
    상기 제 1 특징점을 제 2 센서로부터 얻어진 제 2 데이터에 투영하고, 상기 제 1 특징점이 투영된 부분의 상기 제 2 데이터에서 상기 제 1 특징점에 대응되는 제 2 특징점을 추출하는 제 2 특징점 추출부; 및
    상기 제 1 특징점 및 상기 제 2 특징점을 이용하여 상기 제 1 센서와 상기 제 2 센서 간의 좌표 변환 파라미터를 계산하는 변환 파라미터 계산부; 를 포함하는 복합 센서의 캘리브레이션 장치.
  2. 제 1 항에 있어서,
    상기 제 1 센서는 3차원 거리 센서이고, 상기 제 1 데이터는 상기 3차원 거리 센서로부터 얻어진 3차원 레인지 데이터(range data)인 복합 센서의 캘리브레이션 장치.
  3. 제 1 항에 있어서,
    상기 제 2 센서는 이미지 센서이고, 상기 제 2 데이터는 상기 이미지 센서로부터 얻어진 이미지 데이터(image data)인 복합 센서의 캘리브레이션 장치.
  4. 제 1 항에 있어서, 상기 제 1 특징점 추출부는,
    적어도 3개의 상기 평면이 만나는 부분을 추출하는 복합 센서의 캘리브레이션 장치.
  5. 제 1 항에 있어서, 상기 변환 파라미터 계산부는,
    상기 제 1 특징점과 상기 제 2 특징점의 좌표 차이가 제 1 임계값 이하인 경우, 상기 제 1 특징점과 상기 제 2 특징점을 등록하고,
    등록된 제 1 특징점과 제 2 특징점의 개수가 제 2 임계값 이상인 경우, 등록된 제 1 특징점 및 등록된 제 2 특징점을 이용해서 상기 좌표 변환 파라미터를 계산하는 복합 센서의 캘리브레이션 장치.
  6. 제 1 센서로부터 얻어진 제 1 데이터에서 적어도 1개의 평면을 추출하는 평면 추출부;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 특징점을 추출하는 제 1 특징점 추출부;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 라인을 추출하는 제 1 라인 추출부;
    상기 제 1 라인을 제 2 센서로부터 얻어진 제 2 데이터에 투영하고, 상기 제 1 라인이 투영된 부분의 상기 제 2 데이터에서 상기 제 1 라인에 대응되는 제 2 라인을 추출하는 제 2 라인 추출부;
    상기 제 2 라인에 기초하여 상기 제 1 특징점에 대응되는 제 2 특징점을 추출하는 제 2 특징점 추출부; 및
    상기 제 1 특징점 및 상기 제 2 특징점을 이용하여 상기 제 1 센서와 상기 제 2 센서 간의 좌표 변환 파라미터를 계산하는 변환 파라미터 계산부; 를 포함하는 복합 센서의 캘리브레이션 장치.
  7. 제 6 항에 있어서,
    상기 제 1 센서는 3차원 거리 센서이고, 상기 제 1 데이터는 상기 3차원 거리 센서로부터 얻어진 3차원 레인지 데이터(range data)인 복합 센서의 캘리브레이션 장치.
  8. 제 6 항에 있어서,
    상기 제 2 센서는 이미지 센서이고, 상기 제 2 데이터는 상기 이미지 센서로부터 얻어진 이미지 데이터(image data)인 복합 센서의 캘리브레이션 장치.
  9. 제 6 항에 있어서, 상기 제 1 특징점 추출부는,
    적어도 3개의 상기 평면이 만나는 부분을 추출하는 복합 센서의 캘리브레이션 장치.
  10. 제 6 항에 있어서, 상기 제 1 라인 추출부는,
    적어도 2개의 상기 평면이 만나는 부분을 추출하는 복합 센서의 캘리브레이션 장치.
  11. 제 6 항에 있어서, 상기 변환 파라미터 계산부는,
    상기 제 1 특징점과 상기 제 2 특징점의 좌표 차이가 제 1 임계값 이하인 경우, 상기 제 1 특징점과 상기 제 2 특징점을 등록하고,
    등록된 제 1 특징점과 제 2 특징점의 개수가 제 2 임계값 이상인 경우, 등록된 제 1 특징점 및 등록된 제 2 특징점을 이용해서 상기 좌표 변환 파라미터를 계산하는 복합 센서의 캘리브레이션 장치.
  12. 제 1 센서로부터 얻어진 제 1 데이터에서 적어도 1개의 평면을 추출하는 단계;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 특징점을 추출하는 단계;
    상기 제 1 특징점을 제 2 센서로부터 얻어진 제 2 데이터에 투영하고, 상기 제 1 특징점이 투영된 부분의 상기 제 2 데이터에서 상기 제 1 특징점에 대응되는 제 2 특징점을 추출하는 단계; 및
    상기 제 1 특징점 및 상기 제 2 특징점을 이용하여 상기 제 1 센서와 상기 제 2 센서 간의 좌표 변환 파라미터를 계산하는 단계; 를 포함하는 복합 센서의 캘리브레이션 방법.
  13. 제 12 항에 있어서, 상기 제 1 특징점을 추출하는 단계는,
    적어도 3개의 상기 평면이 만나는 부분을 상기 제 1 특징점으로 추출하는 과정을 포함하는 복합 센서의 캘리브레이션 방법.
  14. 제 12 항에 있어서, 상기 좌표 변환 파라미터를 계산하는 단계는,
    상기 제 1 특징점과 상기 제 2 특징점의 좌표 차이가 제 1 임계값 이하인 경우, 상기 제 1 특징점과 상기 제 2 특징점을 등록하는 과정, 및
    등록된 제 1 특징점과 제 2 특징점의 개수가 제 2 임계값 이상인 경우, 등록된 제 1 특징점 및 등록된 제 2 특징점을 이용해서 상기 좌표 변환 파라미터를 계산하는 과정을 포함하는 복합 센서의 캘리브레이션 방법.
  15. 제 1 센서로부터 얻어진 제 1 데이터에서 적어도 1개의 평면을 추출하는 단계;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 특징점을 추출하는 단계;
    상기 평면에 기초하여 상기 제 1 데이터에서 제 1 라인을 추출하는 단계;
    상기 제 1 라인을 제 2 센서로부터 얻어진 제 2 데이터에 투영하고, 상기 제 1 라인이 투영된 부분의 상기 제 2 데이터에서 상기 제 1 라인에 대응되는 제 2 라인을 추출하는 단계;
    상기 제 2 라인에 기초하여 상기 제 1 특징점에 대응되는 제 2 특징점을 추출하는 단계; 및
    상기 제 1 특징점 및 상기 제 2 특징점을 이용하여 상기 제 1 센서와 상기 제 2 센서 간의 좌표 변환 파라미터를 계산하는 단계; 를 포함하는 복합 센서의 캘리브레이션 방법.
  16. 제 15 항에 있어서, 상기 제 1 특징점을 추출하는 단계는,
    적어도 3개의 상기 평면이 만나는 부분을 상기 제 1 특징점으로 추출하는 과정을 포함하는 복합 센서의 캘리브레이션 방법.
  17. 제 15 항에 있어서, 상기 제 1 라인을 추출하는 단계는,
    적어도 2개의 상기 평면이 만나는 부분을 상기 제 1 라인으로 추출하는 과정을 포함하는 복합 센서의 캘리브레이션 방법.
  18. 제 15 항에 있어서, 상기 좌표 변환 파라미터를 계산하는 단계는,
    상기 제 1 특징점과 상기 제 2 특징점의 좌표 차이가 제 1 임계값 이하인 경우, 상기 제 1 특징점과 상기 제 2 특징점을 등록하는 과정, 및
    등록된 제 1 특징점과 제 2 특징점의 개수가 제 2 임계값 이상인 경우, 등록된 제 1 특징점 및 등록된 제 2 특징점을 이용해서 상기 좌표 변환 파라미터를 계산하는 과정을 포함하는 복합 센서의 캘리브레이션 방법.
KR1020100007538A 2010-01-27 2010-01-27 복합 센서의 캘리브레이션 장치 및 방법 KR101658578B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100007538A KR101658578B1 (ko) 2010-01-27 2010-01-27 복합 센서의 캘리브레이션 장치 및 방법
US12/926,744 US8639021B2 (en) 2010-01-27 2010-12-07 Apparatus and method with composite sensor calibration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100007538A KR101658578B1 (ko) 2010-01-27 2010-01-27 복합 센서의 캘리브레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110087893A true KR20110087893A (ko) 2011-08-03
KR101658578B1 KR101658578B1 (ko) 2016-09-22

Family

ID=44308964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100007538A KR101658578B1 (ko) 2010-01-27 2010-01-27 복합 센서의 캘리브레이션 장치 및 방법

Country Status (2)

Country Link
US (1) US8639021B2 (ko)
KR (1) KR101658578B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627119B1 (ko) 2015-08-12 2016-06-09 김현수 제어 시스템 및 제어 시스템의 교정 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
KR20210138359A (ko) * 2020-05-12 2021-11-19 한국철도기술연구원 적재 제어 장치 및 적재 제어 방법
WO2023085510A1 (ko) * 2021-11-12 2023-05-19 엘지전자 주식회사 로봇 센서 캘리브레이션 방법 및 이를 구현하는 로봇

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431495B2 (ja) * 2016-03-25 2018-11-28 本田技研工業株式会社 教師データ生成方法
US10920562B2 (en) 2017-11-01 2021-02-16 Schlumberger Technology Corporation Remote control and monitoring of engine control system
US10705499B2 (en) 2018-03-30 2020-07-07 Schlumberger Technology Corporation System and method for automated shutdown and startup for a network
CN110399892B (zh) * 2018-04-24 2022-12-02 北京京东尚科信息技术有限公司 环境特征提取方法和装置
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099902A (ja) * 2000-07-19 2002-04-05 Asahi Optical Co Ltd 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
KR20090009172A (ko) * 2008-11-24 2009-01-22 삼성전자주식회사 이동 로봇의 위치 측정 방법 및 장치
KR20100003856A (ko) * 2008-07-02 2010-01-12 삼성전자주식회사 장애물 검출 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP4285279B2 (ja) 2003-03-26 2009-06-24 ソニー株式会社 ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法
US7373270B2 (en) * 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
KR100886655B1 (ko) 2007-04-10 2009-03-04 삼성중공업 주식회사 로봇 기반 멀티 레이저 비전 시스템의 자동 캘리브레이션방법
KR20090025822A (ko) 2007-09-07 2009-03-11 (주)로봇에버 표식과 근거리무선통신을 이용한 로봇의 자기위치인식방법, 그를 이용한 로봇의 위치데이터 발생장치 및그를 이용한 로봇
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099902A (ja) * 2000-07-19 2002-04-05 Asahi Optical Co Ltd 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
KR20100003856A (ko) * 2008-07-02 2010-01-12 삼성전자주식회사 장애물 검출 장치 및 방법
KR20090009172A (ko) * 2008-11-24 2009-01-22 삼성전자주식회사 이동 로봇의 위치 측정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Computer Vision and Pattern recognition, 2000. Proceedings. IEEE Conference on (Volume1). IEEE. 2000.01.13-15., (p531-536) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627119B1 (ko) 2015-08-12 2016-06-09 김현수 제어 시스템 및 제어 시스템의 교정 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
US11971961B2 (en) 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors
KR20210138359A (ko) * 2020-05-12 2021-11-19 한국철도기술연구원 적재 제어 장치 및 적재 제어 방법
WO2023085510A1 (ko) * 2021-11-12 2023-05-19 엘지전자 주식회사 로봇 센서 캘리브레이션 방법 및 이를 구현하는 로봇

Also Published As

Publication number Publication date
KR101658578B1 (ko) 2016-09-22
US20110182476A1 (en) 2011-07-28
US8639021B2 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
KR20110087893A (ko) 복합 센서의 캘리브레이션 장치 및 방법
US20190278288A1 (en) Simultaneous localization and mapping methods of mobile robot in motion area
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
Winterhalter et al. Accurate indoor localization for RGB-D smartphones and tablets given 2D floor plans
Westman et al. Feature-based SLAM for imaging sonar with under-constrained landmarks
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
Troniak et al. Charlie rides the elevator--integrating vision, navigation and manipulation towards multi-floor robot locomotion
Trevor et al. Omnimapper: A modular multimodal mapping framework
Westman et al. Underwater AprilTag SLAM and calibration for high precision robot localization
Kyriakoulis et al. Color-based monocular visuoinertial 3-D pose estimation of a volant robot
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
Yamamoto et al. Optical sensing for robot perception and localization
US11561553B1 (en) System and method of providing a multi-modal localization for an object
Mohareri et al. Autonomous humanoid robot navigation using augmented reality technique
Spampinato et al. An embedded stereo vision module for industrial vehicles automation
Delibasis et al. Real time indoor robot localization using a stationary fisheye camera
Tyagi et al. DVIO: Depth-aided visual inertial odometry for rgbd sensors
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
Luo et al. Autonomous mobile robot navigation and localization based on floor plan map information and sensory fusion approach
Sobreira et al. 2D cloud template matching-a comparison between iterative closest point and perfect match
Karakaya et al. A hybrid indoor localization system based on infra-red imaging and odometry
Khosravian et al. A branch-and-bound algorithm for checkerboard extraction in camera-laser calibration
Choi et al. Laser image SLAM based on image matching for navigation of a mobile robot
Feng Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics.
Wang et al. Mobile robot pose estimation using laser scan matching based on fourier transform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 4