KR101639264B1

KR101639264B1 - 무인 단말기 제어 방법 및 장치

Info

Publication number: KR101639264B1
Application number: KR1020140105126A
Authority: KR
Inventors: 이정욱; 박정근; 강태삼
Original assignee: 건국대학교 산학협력단
Priority date: 2014-08-13
Filing date: 2014-08-13
Publication date: 2016-07-14
Also published as: KR20160020620A

Abstract

본 기술은 레이저 포인트 및 카메라를 이용하여 정적 장애물과의 거리 측정을 실행하여 지도 데이터를 생성 및 갱신할 수 있는 무인 단말기 제어 장치 및 방법을 개시된다. 본 발명의 구체적인 예에 따르면, 모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 방법에 있어서, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물 영상을 추출한 후 추출된 정적인 장애물 영상에 대해 왜곡 보정하는 영상 처리 과정을 포함함에 따라 하나의 레이저 포인트 및 카메라를 이용하여 카메라와 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물에 대해서만 카메라와 레이저 포인트 간의 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있게 된다

Description

무인 단말기 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLING AUTOMATIC TERMIAL}

본 발명은 무인 단말기 제어 방법 및 장치에 관한 것으로, 보다 상세하게는 레이저 포인트 및 카메라를 이용하여 정적 장애물과의 거리 측정을 실행하여 지도 데이터를 생성 및 갱신할 수 있도록 한 장치 및 방법에 관한 것이다.

조종사 없이 원격 조정 가능한 소형 무인 항공기(Unmanned Aerial Vehicle)는 통신 해안 경비 등의 민간 부분에서 그 활용 범위가 확장되고 있으며, 사람이 접근하기 어려운 재난 환경, 사무실 빌딩과 상업용 센터와 같은 복잡한 환경에서 공중 감시용으로 사용될 수 있는 장점을 가진다.

이러한 무인 항공기는 비행체의 위치 인식과 비행 환경에 대한 지도를 작성하게 되고, 이러한 위치 인식 및 지도를 생성하는 기술로는 SLAM(Simultaneous Localization And Mapping) 기법이 사용된다.

이러한 SLAM 기법은 다양한 센서를 사용하여 장애물과의 거리 측정 및 비행환경에 대한 지도 정보를 생성한다.

여기서 사용되는 센서로는 단일 비전 센서(Monocular vision sensor)와 레이저 레인지 파인더를 이용하는데 단일 비전 센서의 경우 무게가 가벼워 거리 및 지도 사물 인식 및 움직임 추적 등의 영상 처리에 널리 사용되고 있다.

그러나, 레이저 레인지 파인더 센서는 정확도와 신뢰성이 우수한 반면 고가이고 무거워 소형 무인 항공기에 탑재하여 사용하는데 적합하지 않다.

따라서, 소형 무인 항공기에 탑재할 수 있는 저렴하고 가벼운 센서 개발 및 연구의 필요성이 대두되었다.

한편, 비행환경에 대한 지도 데이터를 생성함에 있어, 비전센서를 사용하여 거리 측정 후 모든 픽셀 단위의 영상 분석을 통해 지도 사물 인식 및 움직임을 추적하게 된다. 즉, 모든 픽셀 단위에 대한 영상 분석을 통해 지도 데이터가 생성되므로, 실제 지도 데이터를 생성하는 처리 시간이 긴 단점이 존재하였다.

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정한 후 모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성함에 따라, 하나의 레이저 포인트 및 카메라를 이용하여 카메라와 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물에 대해서만 카메라와 레이저 포인트 간의 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있게 된다.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 무인 단말기 제어 장치는,

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 장치에 있어서,

상기 영상 처리 모듈은

소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정하도록 구비되는 것을 특징으로 하는 제 1 특징으로 한다.

여기서, 상기 영상 처리 모듈은,

이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적인 영상을 추출하도록 구비되는 것이 바람직하다.

상기 거리 측정 모듈은,

삭제

상기 레이저 포인트의 중심 위치(x_p, y_p)와 카메라 간의 길이 방향 거리 (x_diff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(x_diff)를 토대로 상기 카메라와 레이저 포인트의 중심 위치(x_p, y_p) 간의 세로 방향 거리(y_diff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(x_pp,y_pp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(x_sp,y_sp)와, 상기 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 도출하고,

도출된 영점 위치(x_pp,y_pp), 시드 위치(x_sp,y_sp), 및 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(x_p,y_p)를 도출하며,

도출된 카메라와 레이저 포인트의 중심 위치(x_p,y_p) 간의 거리를 연산하도록 구비되는 것이 바람직하다.

상기 거리 측정 모듈은,

상기 카메라와 레이저 빔의 중심 위치(x_p,y_p) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증기를 더 포함하는 것이 바람직하다.

상기 지도 데이터는,

기 정해진 설정 주기로 생성된 지도 데이터를 이전 지도 데이터에 갱신하도록 구비되는 것이 바람직하다.

한편 상기 무인 단말기 제어 장치는,

상기 지도 데이터에 정적인 장애물과의 거리 데이터를 합성하여 표시하는 표시 모듈을 더 포함하는 것이 바람직하다.

상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 무인 단말기 제어 장치는,

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 방법에 있어서,

소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물 영상을 추출한 후 추출된 정적인 장애물 영상에 대해 왜곡 보정하는 영상 처리 과정을 포함하도록 구비되는 것을 제2 특징으로 한다.

여기서, 상기 영상 처리 과정은,

이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적 영상을 추출하도록 구비되는 것이 바람직하다.

삭제

상기 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하는 과정은

여기서, 상기 레이저 빔의 강도는,

레이저 빔의 에너지 량, 레이저 빔의 강도 분포도, 레이저 빔의 발산 중 적어도 하나 이상을 토대로 분석되도록 구비되는 것이 바람직하다.

또한, 상기 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하는 과정은

상기 거리 연산기의 카메라와 레이저 빔의 중심 위치(x_p,y_p) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증 단계를 더 포함하는 것이 바람직하다.

바람직하게 상기 지도 데이터는

기 정해진 설정 주기로 생성된 지도를 이전 지도에 갱신하도록 구비되는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명에 따른 무인 단말기 제어 장치 및 방법에 따르면, 모터의 각도 데이터가 0으로 주어진 경우 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 도출된 영점 위치(x_pp,y_pp)와 모터의 각도 데이터가 소정 각도인 경우 상기 영점 위치(x_pp,y_pp)와 상기 X 추정기, LOP 추정기, 및 Y 추정기로부터 도출된 임의의 거리에서의 세로 방향 거리 및 하나의 픽셀 간의 거리를 토대로 탐색 영역 내의 레이저 빔이 주사되는 픽셀 위치인 시드 위치(x_sp,y_sp)를 도출하며, 도출된 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 강도를 분석한 후 레이저 빔의 강도가 가장 높은 위치 (x_h,y_h) 및 기 설정된 관계식을 토대로 레이저 빔이 주사되는 레이저 포인트의 중심 위치(x_p,y_p)를 도출하고, 도출된 카메라와 레이저 포인트의 중심 위치(x_p,y_p) 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있다.

또한, 본 발명에 따르면, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물의 픽셀에 대해서만 레이저 포인트를 이용한 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있는 효과를 얻는다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 구성을 보인 도이다.
도 2는 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 거리 측정 모듈의 구성을 보인 도이다.
도 3은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 탐색 영역 내의 시드 위치를 좌표형태로 보인 도이다.
도 4는 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 정적 장애물과 정적 장애물에 주사된 레이저 빔의 강도를 보인 도이다.
도 5는 본 발명의 다른 실시 예에 따른 무인 단말기 제어 과정을 보인 흐름도이다.

본 발명과 본 발명의 동작상의 잇점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 구성을 보인 도이고, 도 2는 도 1에 도시된 거리 측정 모듈의 구성을 보인 도이다.

본 발명의 실시 예에 따른 무인 단말기 제어 장치는, 도 1 및 도 2에 도시된 바와 같이, 하나의 레이저 포인트와 카메라를 통해 정적인 장애물과의 거리를 측정하여 지도 데이터를 생성하도록 구비된다. 즉, 상기 무인 단말기는, 도 1에 도시된 바와 같이, 카메라(10), 레이저 센서(11), 영상 처리 모듈(20), 모터(30), 거리 측정 모듈(40), 및 지도 데이터 생성 모듈(50)의 구성을 갖는다.

여기서, 거리 측정이 필요한 장애물이 존재하는 특정 공간을 카메라(10)를 이용하여 촬영한다.

상기 장애물이란 레이저 포인트로부터 카메라까지의 실제 거리 측정이 필요한 물체를 말하는 것으로 1개 또는 2개 이상이 될 수 있으며, 이러한 장애물이 존재하는 특정 공간이 3차원이 되는 바, 카메라(10)는 통상의 3차원의 특정 공간을 연속적으로 촬영할 수 있는 비전 센서로 구비된다.

예를 들어, 무인 단말기는 건물 내부를 주행하여 건물 내부의 지도 데이터를 생성하기 위해서는, 건물 내에 존재하는 장애물과의 거리가 측정되어야 하는 바, 여기서, 장애물이란 건물의 벽을 말하고 특정 공간이란 건물 내부로서 카메라(10)에 의해 촬영하고자 하는 3차원 공간을 말한다.

물론 본 발명의 무인 단말기가 소형 무인 항공기에 한정되는 것은 아니므로, 상기 카메라(10)를 비전 센서에 한정하는 것이 아니므로, 자동 초점 카메라에도 적용 가능하고 이에 따라 상기 특정 공간은 달라 질 수 있지만 이는 장애물을 분류하기 위해 무인 단만기에 입력될 각 종 정보만 변경 설정하면 된다. 설명의 편의 상 이하에서는 건물 내부에 장애물을 토대로 건물 내부 지도 데이터를 생성하는 무인 단말기를 예로 들어 설명한다.

도 2를 참조하면, 촬영 대상이 되는 특정 공간을 가로, 세로, 높이를 갖는 3차원으로 이 3차원 공간은 내부에 사람들이 실질적으로 생활하는 건물 내의 주변 환경이므로, 카메라(10)의 시야 범위에 들어오는 것으로 도 2에 도시된 바와 같이 특정 공간으로 구획된 3차원 공간이다.

이러한 3차원 공간은 다양한 피사체, 예를 들어 벽, 이동하는 사람, 등이 존재하지만, 건물 내의 지도 데이터를 생성한다면, 거리 측정이 필요한 대상은 건물의 벽이므로, 이를 거리 측정이 불필요한 장애물(이동중인 사람)과는 분류해야 한다.

따라서, 카메라(10)를 통해 수집된 영상 중 이동중인 사람과 같은 거리 측정 비대상 장애물인 동적 장애물은 제거한 후 대상 장애물인 정적 장애물만을 추출하고 추출된 정적 장애물과의 거리 측정을 실행한다.

즉, 카메라(10)를 통해 수집된 영상 정보는 영상 처리 모듈(20)로 제공한다. 영상 처리 모듈(20)은 카메라(10)를 통해 수집된 3차원 정보를 2차원 영상 정보로 변환하고, 변환된 2차원 영상 정보로부터 정적인 장애물을 추출한 후 추출된 장애물의 영상의 왜곡을 보정하도록 구비된다. 그러나, 저가의 소형 무인 단말기에는 3차원의 영상을 촬영하기 위한 비전 센서가 아닌 2차원 영상의 촬영 가능한 고체 촬상 소자를 이용한 카메라로 구비될 수도 있다.

상기 영상 처리 모듈(20)은 정적 장애물을 추출하기 위해 각종 형상 정보, 색상 정보, 및 엣지 정보 등이 입력되고 이러한 정보들과 카메라(10)를 통해 수집된 영상을 비교함으로써, 정적인 장애물을 추출할 수 있으며, 이외에도 다양한 알고리즘을 통해 정적 장애물을 추출할 수 있다. 다만, 본 발명의 실시 예에서 정적 장애물은, 이전 영상의 픽셀 단위 별 밝기 값(Sb)과 현재 영상의 같은 위치의 픽셀 밝기 값(Sn) 및 기 정의된 임의의 비율 r을 토대로 기 정해진 비례 관계식을 토대로 추출되는 것이 바람직하다.

상기 정적 장애물을 픽셀의 밝기 값(Sb)을 토대로 비례 관계식은 다음 식 1을 만족한다.

식 1

삭제

그리고, 상기 영상 처리 모듈(20)은 수집된 정적 장애물을 소정 수의 픽셀로 분리하는데, 도 3에 도시된 바와 같이, 가로 방향의 픽셀 수와 세로 방향의 픽셀 수로 구비되는 바, 설명의 편의를 위해 가로 픽셀 수는 x로 정의하고, 세로 픽셀 수는 y로 정의한다. 바람직하게 본 발명의 실시 예에서는 x, y 각 픽셀 수는 60X52 로 한정하여 설명한다.

또한, 거리 측정 모듈(30)은 영상 처리 모듈(20)에서 추출된 정적 장애물 각 픽셀 내에 주사되는 레이저 포인트와 카메라(10) 간의 가로 성분 및 세로 성분의 실제 거리를 측정하기 위해 정적 장애물과 카메라 간의 가로 성분의 실제 거리를 길이 방향 거리(x_diff)로 정의하고, 세로 성분의 실제 거리를 세로 방향 거리(y_diff)로 정의한다.

즉, 상기 거리 측정 모듈(30)은 정적 장애물의 각 픽셀에 레이저 센서(11)의 레이저 빔을 주사하고 주사된 픽셀 내의 레이저 포인트를 추출하고 추출된 레이저 포인트와 카메라 간의 거리를 측정한다.

이와 같이 정적 장애물의 각 픽셀의 중심 위치와 카메라 간의 거리를 측정하기 위해, 상기 레이저 센서(11)는 모터(30)에 의해 상하 방향 및 좌우 방향으로 회전하여 카메라와의 소정의 각도 데이터(θ)가 형성된다.

여기서, 도 3에 도시된 바와 같이, 상기 카메라(10)의 렌즈 초점이 이루는 면과 상기 레이저 센서(11)의 회전 중심 면이 평행을 이루는 좌표, 즉, 각도 데이터(θ)가 0인 영점 위치(x_pp,y_pp)로 정의하고, 상기 영점 위치(x_pp,y_pp)로부터 레이저 센서(11)의 레이저 포인트와의 수직(X) 방향의 거리 및 수평(Y) 방향의 높이 및 모터에 의해 좌우 및 상하로 이동하는 레이저 포인트의 각도 데이터(θ)를 알고 있다고 가정하면, 상기 카메라(10)와 회동하는 레이저 센서(11)의 레이저 포인트 간의 거리 측정이 가능하다.

우선, 거리 측정 모듈(40)에서 모터(30)에 의해 좌우 및 상하로 이동하는 레이저 포인트의 각도 데이터(θ)와 영점 위치(x_pp,y_pp)를 기준으로 임의의 거리에서 상기 레이저 센서(11)의 레이저 포인트와의 길이 방향 거리(x_diff) 및 세로 방향의 거리(y_diff)를 추정하기 위한 관계식을 도출하는 일련의 과정을 설명한다.

상기 거리 측정 모듈(30)은, 도 3에 도시된 바와 같이, 상기 레이저 포인트의 소정 픽셀의 중심 위치와 카메라가 평행한 레이저 포인트의 위치를 상기 소정 픽셀 내의 영점 위치(x_pp,y_pp)로 정의하고, 상기 영점 위치(x_pp,y_pp)로부터 레이저 포인트의 중심 위치와 카메라 간의 길이 방향 거리(x_diff)를 예측하는 X 추정기(41)와, 모터(30)에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 중심 위치와 카메라와의 너비 및 각도 데이터를 토대로 각 픽셀의 중심 위치 간의 거리를 예측하는 LOP 추정기(42)와, 상기 LOP 추정기(42)를 통해 도출된 중심 위치 간의 거리를 토대로 상기 영점 위치(x_pp,y_pp)로부터 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(y_diff)를 추정하는 Y 추정기(43)와, 상기 모터의 각도 데이터가 주어지면 상기 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 영점 위치(x_pp,y_pp)와 탐색 영역 내의 시드 위치(x_sp,y_sp)를 도출한 후 도출된 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 중심 위치(x_p,y_p)를 도출하고 도출된 카메라와 레이저 포인트의 중심 위치 간의 거리를 연산하는 거리 연산기(44)를 포함한다.

여기서, 상기 X 추정기(41)는 모터(30)에 의해 상하 좌우 방향으로 회동하는 레이저 포인트에 변동에 따른 가로 방향의 실제 거리인 길이 방향 거리(x_diff)를 추정하기 위한 관계식을 마련하고, 이러한 관계식을 기반으로 카메라(10)와 레이저 포인트 간의 임의의 거리에서 카메라(10)와 레이저 포인트 간의 길이 방향 거리(x_diff) 추정이 가능하다.

즉, 카메라(10)와 레이저 센서(11)의 레이저 포인트 사이의 소정 단위 거리 마다 레이저 포인트와 카메라(10) 간의 거리 및 높이를 측정하고, 측정된 소정 단위 거리 마다 측정된 레이저 포인트와 카메라(10) 간의 거리 및 높이에 대해 최소 제곱에 의한 다항식 커브 피팅 알고리즘(polynomial curve fitting)을 이용하여 레이저 포인트의 각도 데이터와 길이 방향 거리(x_diff)에 대한 관계식이 도출된다. 도출된 관계식을 기반으로 임의의 거리에서의 카메라(10)와 레이저 포인트 간의 가로방향의 거리(X)가 추정된다.

그리고, LOP(length of One Pixel) 추정기(42)는 모터(30)에 의해 상하 좌우 방향으로 회동하는 레이저 포인트에 변동에 따른 한 픽셀 간의 거리를 추정하기 위한 관계식이 마련되어 있고, 이러한 관계식을 기반으로 하나의 픽셀 간의 거리(LOP) 추정이 가능하다.

즉, 카메라(10)와 레이저 센서(11)의 레이저 포인트 사이의 소정 단위 거리 마다 한 픽셀 간의 너비 및 각도 데이터를 측정하고, 측정된 소정 단위 거리 마다 측정된 한 픽셀간의 거리 및 높이에 대해 최소 제곱에 의한 다항식 커브 피팅 알고리즘(polynomial curve fitting)을 이용하여 임의의 거리가 주어졌을 때의 한 픽셀의 길이(LOP)를 추정하기 위한 LOP 관계식이 도출된다. 도출된 LOP 관계식을 기반으로 임의의 거리에서의 한 픽셀의 길이가 추정된다.

또한, Y 추정기(43)는 상기 X 추정기(41)의 길이 방향 거리(x_diff)와 상기 LOP 추정기(42)를 통해 도출된 중심 위치(LOP) 간의 거리를 토대로 상기 영점 위치(x_pp,y_pp)에 대한 비례 관계식을 토대로 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(y_diff)를 추정 가능하다. 즉, 상기 세로 방향 거리(y_diff)는 가로 방향 거리(x_diff)와 LOP 추정기(42)로부터 공급된 한 픽셀 간의 거리의 곱으로 도출된다.

또한, 상기 카메라(10)의 렌즈를 통해 획득된 영상이 카메라의 특성에 따라 왜곡되어 영상 내의 레이저 포인트의 위치와 실제 위치와의 차이가 발생하는 오류를 방지하기 위해 그래픽 라이브러리를 사용하여 이미지를 보정함에 따라, 렌즈에 결상된 영상과 실제 영상과의 오차를 최소로 줄일 수 있게 된다.

이어, 상기 카메라(10)에 의해 획득된 정적 장애물에 주사되는 레이저 빔은 다수의 픽셀 위치에 걸쳐 주사되므로, 기 정해진 정적 장애물의 전체 영역(x, y) 내의 레이저 빔이 주사되는 픽셀 위치의 탐색 영역의 시드 위치(x_sp,y_sp)를 검색하는 일련의 과정은 다음과 같다.

즉, 임의의 거리(d)에서의 길이 방향 거리(x_diff)는 한 픽셀 간의 거리(LOP)와 상기 각도 데이터(θ)를 토대로 도출되며, 세로 방향 거리(y_diff)는 길이 방향 거리(x_diff)에 비해 상당히 작은 값이므로, 임의의 상수값(C)로 설정된다. 즉, 임의의 거리(d)에서의 길이 방향 거리

를 만족한다. 여기서 100은 임의의 거리(dcm)이다.

따라서, 레이저 포인트의 시드 위치(x_sp,y_sp)에 대한 좌표값은 다음 식 2를 만족한다.

시드 위치(x_sp,y_sp)= (X축의 영점위치(x_pp)-x_diff, Y축의 영점위치(y_pp)-C) .. 식 2

그리고, 탐색된 시드 위치(x_sp,y_sp)와 인접된 픽셀에 주사된 레이저 빔의 강도를 토대로 레이저 포인트의 픽셀 위치인 중심 위치(x_p,y_p)를 도출하는 과정을 설명한다.

즉, 상기 중심 위치(x_p,y_p)는 도 4에 도시된 바와 같이, 레이저 빔의 에너지 량, 레이저 빔의 강도(intensity) 분포, 및 빔 발산 중 적어도 하나 이상의 파라미터를 토대로 레이저 빔의 강도가 가장 높은 픽셀 위치(x_h,y_h)로부터 도출된다.

이때 상기 레이저 빔의 강도가 가장 높은 픽셀 위치(x_h,y_h)는 거리의 제곱에 반비례한다고 가정하고, 레이저 포인트의 중심 위치(x_p,y_p)는 기 설정된 관계식을 토대로 도출되며, 다음 식 3 및 4를 만족한다.

.. 식 3

.. 식 4

여기서, 상기 x_h-1과 x_h+1은 x_h의 가로 방향의 이웃 픽셀이고 I(x)는 픽셀 x의 강도값이고, y_h-1과 y_h+1는 y_h의 세로 방향의 이웃 픽셀이고, I(y)는 픽셀 y의 강도값이다.

그리고, 상기 도출된 정적 장애물에 주사된 레이저 포인트의 픽셀의 중심 위치(x_p,y_p)를 토대로 정적 장애물과 카메라 간의 거리를 측정하고 측정된 거리 정보 및 카메라의 영상 정보는 지도 생성 모듈(50)로 전달하고, 상기 지도 생성 모듈(50)은 수신된 거리 정보 및 영상 정보를 통해 운행 지역의 지도를 형성한다.

한편, 상기 거리 측정 모듈(40)을 통해 카메라와 레이저 포인트의 픽셀 위치(x, y) 간의 연산으로 도출된 추정 거리와 실측 측정 거리의 비교 결과 소정치 이하의 오차율을 나타내므로, 카메라와 레이저 센서를 이용하여 고가의 스테레오 비전 센서를 이용하는 장애물과의 거리를 측정하는 무인 단말기에 비해, 저가의 카메라 및 레이저 센서가 설치된 무인 단말기로 해당 운행 지역의 지도가 생성된다.

또한, 본 발명의 실시 예에 따르면, 정적 장애물에 대해서만 카메라와 레이저 포인트 픽셀 위치 간의 거리가 추정되므로, 장애물과 카메라 간의 거리 측정 처리 시간이 최소로 단축될 수 있다.

이상에서 설명한 바와 같이, 카메라(10)를 통해 획득된 소정 주기의 영상으로부터 정적 장애물을 추출하고 추출된 정적 장애물에 레이저 센서(11)의 레이저 빔의 중심 위치를 도출한 후 도출된 중심 위치와 카메라 간의 거리를 측정하여 지도 데이터를 생성하는 일련의 과정을 도 5를 참조하여 설명한다.

도 5는 도 1에 도시된 무인 단말기의 제어 과정을 보인 흐름도로서, 도 1 내지 도 5를 참조하여 본 발명의 다른 실시 예에 따른 무인 단말기 제어 과정을 설명한다.

우선, 카메라(10)는 소정 주기로 획득된 영상을 영상 처리 모듈(20)로 전달하고, 상기 영상 처리 모듈(20)은 소정 픽셀로 샘플링한 후 저장하고 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정한다(단계 101, 단계 103, 및 단계 105).

즉, 상기 영상 처리 모듈(20)은 이전 영상의 픽셀 단위 별 밝기 값(Sb)과 현재 영상의 같은 위치의 픽셀 밝기 값(Sn) 및 기 정의된 임의의 비율 r을 토대로 기 정해진 비례 관계식을 토대로 정적 장애물을 추출한다.

상기 정적 장애물 픽셀의 밝기 값(Sb)을 토대로 한 비례 관계식은 다음 식 5를 만족한다.

식 5

그리고, 상기 레이저 센서(11)는 레이저 빔을 상기 정적 장애물에 주사하고, 레이저 빔이 주사된 정적 장애물은 상기 영상 처리 모듈(20)을 통해 거리 측정 모듈(40)로 전달된다. 이때 상기 레이저 센서(11)는 모터에 의해 좌우 상하 방향으로 이동되므로 카메라(10)와의 각도 데이터(θ)가 주어진다.

이어 상기 거리 측정 모듈(40)은, 단계(107)를 통해 레이저 포인트의 중심 위치와 카메라 간의 길이 방향 거리(x_diff)와, 모터(30)에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 중심 위치와 카메라와의 너비 및 각도 데이터(θ)를 토대로 각 픽셀 간의 거리(LOP)와, 상기 각 픽셀 위치 간의 거리(LOP)를 토대로 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(y_diff)를 추정한다.

즉, 거리 측정 모듈(40)은 기 저장된 관계식을 토대로 임의의 거리에서 길이 방향 거리(x_diff), 각 픽셀 간의 거리(LOP), 및 세로 방향 거리(y_diff)에 대한 추정이 가능하다.

이어 상기 거리 측정 모듈(40)은 기 정의된 관계식을 토대로 도출된 임의의 거리에서의 길이 방향 거리(x_diff) 및 각 픽셀 간의 거리(LOP) 및 세로 방향 거리(y_diff)를 토대로 각도 데이터(θ)가 0인 픽셀 위치의 영점 위치(x_pp,y_pp)와 영점 위치(x_pp,y_pp)로부터 시드 위치(x_sp,y_sp)를 도출한다(단계 109, 111).

상기 시드 위치(x_sp,y_sp)는 각도 데이터(θ)가 주어질 때 탐색 영역(60X52의 픽셀) 중 레이저 빔이 주사되는 픽셀 위치를 말한다.

그리고 상기 거리 측정 모듈(40)은, 상기 시드 위치(x_sp,y_sp)를 가지는 픽셀 중 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 도출하고 도출된 레이저 빔의 강도가 가장 높은 픽셀 위치(x_h,y_h)에 대해 기 설정된 관계식을 토대로 중심 위치(x_p,y_p)를 도출한다(단계 113, 115).

상기 중심 위치(x_p,y_p)는 레이저 빔의 강도의 분포가 높은 위치(x_h,y_h)에 대해 다음 식 6 및 식 7를 만족한다.

.. 식 6

.. 식 7

상기 거리 측정 모듈(40)은 상기 중심 위치(x_p,y_p)와 카메라(10) 간의 거리를 기 정의된 관계식을 토대로 연산한 후 연산된 거리 정보는 지도 생성 모듈(50)로 전달된다(단계 117).

상기 지도 생성 모듈(50)은 상기 거리 측정 모듈(40)의 거리 정보와 영상 처리 모듈(20)의 영상 정보를 토대로 지도를 생성하고 생성된 거리 정보 및 영상 정보를 포함하는 지도는 표시 모듈(미도시됨)에 표시된다(단계 119).

본 발명의 실시 예에 따르면, 모터의 각도 데이터가 주어지면 상기 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 영점 위치(x_pp,y_pp)와 탐색 영역 내의 시드 위치(x_sp,y_sp)를 도출한 후 도출된 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 중심 위치(x_p,y_p)를 도출하고 도출된 카메라와 레이저 포인트의 중심 위치 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있다.

여기에 제시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

모터의 각도 데이터가 0으로 주어진 경우 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 도출된 영점 위치(x_pp,y_pp)와 모터의 각도 데이터가 소정 각도인 경우 상기 영점 위치(x_pp,y_pp)와 상기 X 추정기, LOP 추정기, 및 Y 추정기로부터 도출된 임의의 거리에서의 세로 방향 거리 및 하나의 픽셀 간의 거리를 토대로 탐색 영역 내의 레이저 빔이 주사되는 픽셀 위치인 시드 위치(x_sp,y_sp)를 도출하며, 도출된 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 강도를 분석한 후 레이저 빔의 강도가 가장 높은 위치 (x_h,y_h) 및 기 설정된 관계식을 토대로 레이저 빔이 주사되는 레이저 포인트의 중심 위치(x_p,y_p)를 도출하고, 도출된 카메라와 레이저 포인트의 중심 위치(x_p,y_p) 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있고, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물의 픽셀에 대해서만 레이저 포인트를 이용한 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있는 무인 단말기 제어 장치 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 적용되는 무인 단말기의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 하나의 영상에 포함된 동적 장애물 및 정적 장애물을 추출하고 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 장치에 있어서,
상기 영상 처리 모듈은
소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값과 기 정의된 임의의 비율을 토대로 정해진 비례 관계식을 토대로 하나의 영상에 포함된 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정하도록 구비되고
상기 지도 데이터는
기 정해진 설정 주기로 생성된 지도를 이전 지도에 갱신하는 것을 특징으로 하는 무인 단말기 제어 장치.
삭제
삭제
제1항에 있어서, 상기 거리 측정 모듈은,
상기 레이저 포인트의 중심 위치(x_p, y_p)와 카메라 간의 길이 방향 거리 (x_diff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(x_diff)를 각각 추정하며,
추정된 상기 카메라와 레이저 포인트의 중심 위치(x_p, y_p) 간의 세로 방향 거리(y_diff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(x_pp,y_pp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(x_sp,y_sp)와, 상기 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 도출하고,
도출된 영점 위치(x_pp,y_pp), 시드 위치(x_sp,y_sp), 및 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(x_p,y_p)를 도출하며,
도출된 카메라와 레이저 포인트의 중심 위치(x_p,y_p) 간의 거리를 연산하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
제4항에 있어서, 상기 거리 측정 모듈은,
상기 카메라와 레이저 빔의 중심 위치(x_p,y_p) 간의 추정 거리와 실제 측정 거리를 토대로 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증기를 더 포함하는 것을 특징으로 하는 무인 단말기 제어 장치.
삭제
제1항에 있어서, 상기 무인 단말기 제어 장치는,
상기 지도 데이터에 정적인 장애물과의 거리 데이터를 합성하여 표시하는 표시 모듈을 더 포함하는 것을 특징으로 하는 무인 단말기 제어 장치.
모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 하나의 영상에 포함된 정적 장애물 및 동적 장애물을 추출하고 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 방법에 있어서,
소정 주기로 수집된 다수의 영상 중 이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 하나의 영상에 포함된 정적 장애물 및 동적 장애물을 추출하고 추출된 정적인 장애물 영상에 대해 왜곡 보정하는 영상 처리 과정을 포함하며,
상기 지도 데이터는
기 정해진 설정 주기로 생성된 지도를 이전 지도에 갱신하는 것을 특징으로 하는 무인 단말기 제어 방법.
삭제
삭제
제8항에 있어서, 상기 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하는 과정은,
상기 레이저 포인트의 중심 위치(x_p, y_p)와 카메라 간의 길이 방향 거리 (x_diff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(x_diff)를 추정하며,
추정된 상기 카메라와 레이저 포인트의 중심 위치(x_p, y_p) 간의 세로 방향 거리(y_diff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(x_pp,y_pp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(x_sp,y_sp)와, 상기 시드 위치(x_sp,y_sp)에 주사된 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 도출하고,
도출된 영점 위치(x_pp,y_pp), 시드 위치(x_sp,y_sp), 및 레이저 빔의 강도가 가장 높은 위치(x_h,y_h)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(x_p,y_p)를 도출하며,
도출된 카메라와 레이저 포인트의 중심 위치(x_p,y_p) 간의 거리를 연산하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
제11항에 있어서, 상기 레이저 빔의 강도는,
레이저 빔의 에너지 량, 레이저 빔의 강도 분포도, 레이저 빔의 발산 중 적어도 하나 이상을 토대로 분석하는 것을 특징으로 하는 무인 단말기 제어 방법.
제11항에 있어서, 상기 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하는 과정은
카메라와 레이저 빔의 중심 위치(x_p,y_p) 간의 추정 거리와 실제 측정 거리를 토대로 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증 단계를 더 포함하는 것을 특징으로 하는 무인 단말기 제어 방법.
삭제