KR101248308B1

KR101248308B1 - Method for recognizing the self position of a mobile robot unit using the lamp directionality on the ceiling image/feature map and mobile robot unit using the method

Info

Publication number: KR101248308B1
Application number: KR1020110009593A
Authority: KR
Inventors: 송재복; 황서연
Original assignee: 고려대학교 산학협력단
Priority date: 2011-01-31
Filing date: 2011-01-31
Publication date: 2013-03-27
Also published as: KR20120088322A

Abstract

본 발명은, 영상 입력부와, 엔코더 감지부와, 연산부와, 제어부와, 저장부와, 구동부를 구비하는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공하는 제공 단계와, 상기 영상 입력부를 통하여 입력된 영상 정보를 처리하는 영상 입력 처리 단계와, 상기 영상 정보에 기초하여 조명 특징을 포함하는 특징을 추출하는 특징 추출 단계와, 상기 추출된 특징들을 사용하여 상기 이동 로봇 장치의 위치를 인식하는 위치 인식 단계를 포함하는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 이용하는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공한다. The present invention provides a step of providing a ceiling lighting direction characteristic utilizing position recognition mobile robot device having an image input unit, an encoder detection unit, a calculation unit, a control unit, a storage unit, and a driving unit, and inputs through the image input unit. An image input processing step of processing the received image information, a feature extraction step of extracting a feature including an illumination feature based on the image information, and location recognition for recognizing a position of the mobile robot apparatus using the extracted features Provided is a method for recognizing a moving robot using characteristic of a ceiling lighting direction including a step, and a location-aware mobile robot using the characteristic of a ceiling lighting direction using the same.

Description

METHOD FOR RECOGNIZING THE SELF POSITION OF A MOBILE ROBOT UNIT USING THE LAMP DIRECTIONALITY ON THE CEILING IMAGE / FEATURE MAP AND MOBILE ROBOT UNIT USING THE METHOD}

본 발명은 로봇 장치 및 이의 제어 방법에 관한 것으로, 보다 정확한 위치 인식을 가능하게 하기 위하여 조명 특징의 방향성을 고려하는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치에 관한 것이다. The present invention relates to a robot apparatus and a control method thereof, the method for recognizing a moving robot using the direction characteristic of the ceiling light considering the directionality of the lighting feature in order to enable more accurate position recognition and the position recognition using the ceiling light direction characteristic using the same It relates to a mobile robot device.

로봇에 대한 수요는 산업용으로서 뿐만 아니라 가정용에 대한 수요도 증대되고 있고, 이에 따라 로봇 연구가 활발하게 진행되고 있다. 특히, 종래의 위치 고정된 로봇과는 달리 이동 가능한 이동 로봇에 대한 연구가 활발하게 진행되고 있는데, 이동 가능한 이동 로봇은 주변 환경을 사용하여 자신의 위치를 정확하게 인식하는 기술 및 이를 위하여 기준이 되는 표식을 기점으로 자신의 위치 파악을 가능하게 하는 지도 작성에 대한 기술의 연구가 진행되고 있다. The demand for robots is not only for industrial use, but also for home use, and accordingly, research on robots is actively progressing. In particular, unlike conventional position-fixed robots, researches on mobile robots that can be moved are being actively conducted, and the mobile robots can recognize their position accurately using the surrounding environment and marks for reference. Starting from now, researches on techniques for making maps that enable one's own location are underway.

특히, 주변 환경으로부터 취득되는 정보 중 꼭지점 또는 직선과 같이 특정한 모양을 구비하는 정보를 특징(feature)라고 명명되며, 이들은 이용하여 작성된 지도를 특징 지도(feature map)라고 한다. 특징은 환경 내에서 로봇의 위치를 인식하기 위한 표식으로 사용되기 때문에 어떠한 특징을 추출하여 이를 사용할 것인지 그리거 추출된 특징이 주변 환경의 변화에 따라 강인한 특성을 갖는지 등과 같은 사항이 정확한 특징 지도를 작성하는데 중요한 인자가 된다. In particular, information having a specific shape, such as a vertex or a straight line, among information obtained from the surrounding environment is called a feature, and these maps created using the feature map are called feature maps. Since the feature is used as a marker for recognizing the robot's position in the environment, it is important to create a feature map that accurately extracts and uses the feature and whether the extracted feature has strong characteristics according to the change of the surrounding environment. This is an important factor.

통상적으로 저가형 소형 로봇의 경우 주행을 위한 상태 감지를 위한 감지 센서로서 적외선 센서와 초음파 센서를 사용하는데, 적외선 센서는 직진성과 심한 노이즈로 인하여 정보 누설로 인한 정확한 지도 작성이 곤란하다. 또한 초음파 센서의 경우 감지 범위가 넓다는 장점이 있으나 이 경우에도 잡음이 심하여 정확한 지도 작성이 곤란하다는 문제점이 존재한다. In general, inexpensive miniature robots use an infrared sensor and an ultrasonic sensor as sensing sensors for driving a state, which is difficult to accurately map due to information leakage due to the straightness and heavy noise. In addition, the ultrasonic sensor has the advantage of a wide detection range, but even in this case, there is a problem that it is difficult to prepare accurate maps due to the noise.

이러한 단점들을 극복하기 위하여 천장 영상을 활용할 수 있는 천장지향형 단일 카메라를 구비하는 천장 영상 기반 로봇이 도출되었는데, 천장 영상의 활용이 가능한 천장지향형 단일 카메라를 구비하는 로봇은 사람 또는 장애물과 같은 동적 물체에 의한 간섭을 가능한 배제시킬 수 있고 표식에 대한 안정적인 추적이 가능하다는 장점을 구비하였다. 하지만, 이러한 종래 기술에 따른 천장지향형 단일 카메라를 구비하는 로봇의 경우, 특징으로 코너 특징과 직선 특징을 사용하였는데, 코너 특징의 경우 안정적인 정합이 가능하나 조명 변화등에 따른 밝기 변화에 의하여 정보의 변화가 심하고 직선 특징의 경우 복수의 직선이 구비되는 경우 혼동에 의한 정확한 정합 여부 판단이 어렵다는 문제점이 수반되었다. To overcome these shortcomings, a ceiling image-based robot with a ceiling-oriented single camera capable of utilizing ceiling images has been derived. A robot with a ceiling-oriented single camera capable of utilizing ceiling images has been applied to dynamic objects such as people or obstacles. Interference can be eliminated as much as possible and stable tracking of the marker is possible. However, in the case of a robot having a single ceiling-oriented camera according to the prior art, the corner feature and the straight feature are used as the features. In the case of the corner feature, stable matching is possible, but the change of information is caused by the change of brightness due to the lighting change. In the case of severe and straight line features, when a plurality of straight lines are provided, it is difficult to determine whether to accurately match due to confusion.

본 발명은 천장 영상을 이용하여 위치 인식을 이루되 보다 정확한 위치 인식을 가능하도록 하기 위하여 조명 특징의 방향성을 포함하는 특성을 사용하는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공하는 것을 목적으로 한다. The present invention provides a location recognition using a ceiling image, but using a feature including the directionality of the lighting features in order to enable more accurate location recognition mobile robot position recognition method using the direction characteristic of the ceiling and the ceiling light direction using the same An object of the present invention is to provide a location-aware mobile robot device.

전술한 목적을 달성하기 위한 본 발명은, 영상 입력부와, 엔코더 감지부와, 연산부와, 제어부와, 저장부와, 구동부를 구비하는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공하는 제공 단계와, 상기 영상 입력부를 통하여 입력된 영상 정보를 처리하는 영상 입력 처리 단계와, 상기 영상 정보에 기초하여 조명 특징을 포함하는 특징을 추출하는 특징 추출 단계와, 상기 추출된 특징들을 사용하여 상기 이동 로봇 장치의 위치를 인식하는 위치 인식 단계를 포함하는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법을 제공한다.According to an aspect of the present invention, there is provided a ceiling light direction characteristic utilizing position recognition mobile robot device having an image input unit, an encoder detecting unit, a calculating unit, a control unit, a storage unit, and a driving unit. An image input processing step of processing image information input through the image input unit, a feature extraction step of extracting a feature including an illumination feature based on the image information, and the mobile robot apparatus using the extracted features The present invention provides a method for recognizing a moving robot using a ceiling light direction characteristic including a location recognizing step of recognizing a location of a ceiling.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 특징 추출 단계는, 상기 영상 정보로부터 천장에 배치되는 조명에 대한 조명 특징을 추출하는 조명 특징 추출 단계를 포함하고, 상기 조명 특징 추출 단계는: 상기 영상 정보를 상기 저장부에 사전 설정 저장된 사전 설정 이진화 임계치를 기준으로 이진화하여 이진화된 조명 특징을 확정하는 영상 이진화 단계와, 상기 이진화된 조명 특징을 군집화하여 레이블링되는 조명 특징을 추출하는 레이블링 단계와, 상기 레이블링되는 조명 특징의 주축 길이 및 방향 정보를 산출하는 조명 특징 특성 추출 단계를 구비할 수도 있다. In the method for recognizing the moving robot position using the ceiling lighting direction characteristic, the feature extracting step includes an illumination feature extraction step of extracting an illumination feature for the illumination disposed on the ceiling from the image information. : A binarization step of determining a binarized lighting feature by binarizing the image information based on a preset binarization threshold stored in the storage unit, and a labeling step of clustering the binarized lighting feature and extracting a labeled lighting feature. And an illumination feature characteristic extraction step of calculating principal axis length and direction information of the labeled illumination feature.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 레이블링되는 조명 특징의 주축 길이의 비가 상기 저장부에 사전 설정되어 저장된 사전 설정 주축 길이 비율을 비교하는 사전 설정 주축 길이 비교 단계를 포함할 수도 있다. The method for recognizing the moving robot position using the ceiling illumination direction characteristic may include a preset spindle length comparison step of comparing a ratio of the spindle lengths of the labeled illumination features to a preset spindle length ratio preset and stored in the storage unit. have.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 위치 인식 단계는: 상기 영상 입력부로부터의 영상 정보에 기초하여 산출된 전단계에서의 상기 이동 로봇 장치의 추정 위치 및 상기 조명 특징의 추정 영상과, 상기 엔코더 감지부의 신호에 기초하여, 현단계에서의 상기 이동 로봇 장치의 예측 위치 및 상기 예측 위치에서의 상기 조명 특징에 대한 예측 영상을 생성하는 예측 단계와, 상기 사전 설정 주축 길이 비교 단계에서의 비교 결과에 따라 선택되는 관측 모델을 통하여 상기 이동 로봇 장치의 예측 위치 및 상기 예측 위치에서의 상기 조명 특징에 대한 예측값을 갱신하는 갱신 단계와, 상기 조명 특징의 정합이 이루어졌는지를 확인하고 정합 정보를 산출하는 특징 정합 단계와, 상기 특징 정합 단계의 정합 정보에 따라 상기 이동 로봇 장치의 예측 위치 및 상기 예측 위치에서의 상기 조명 특징에 대한 예측값을 보정하는 추정 단계를 포함할 수도 있다. In the method for recognizing the moving robot position using the ceiling lighting direction characteristic, the position recognizing step includes: an estimated image of the mobile robot apparatus and an estimated image of the lighting feature in the previous step calculated based on the image information from the image input unit; A prediction step of generating a predicted image of the predicted position of the mobile robot apparatus and the illumination feature at the predicted position based on a signal of the encoder sensing unit; An update step of updating a predicted position of the mobile robot apparatus and a predicted value of the illumination feature at the predicted position through an observation model selected according to the comparison result, confirming that the illumination feature is matched, and matching information The image according to the feature matching step to be calculated and the matching information of the feature matching step. It may comprise an estimating step for correcting the prediction value for the illumination characteristics of the mobile predicted position and the predicted position of the robot apparatus.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 갱신 단계는: 상기 사전 설정 주축 길이 비교 단계에서의 비교 결과에 따른 방향 유무를 확인하는 방향 확인 단계와, 상기 방향 확인 단계에서 상기 조명 특징에 방향이 있다고 판단된 경우, 상기 조명 특징의 위치 및 방향에 대한 위치 방향 관측 모델을 설정하는 위치 방향 관측 모델 설정 단계를 포함할 수도 있다. In the method of recognizing the moving robot position using the ceiling lighting direction characteristic, the updating step may include: a direction checking step of confirming a direction according to a comparison result in the preset spindle length comparison step, and the lighting feature in the direction checking step If it is determined that there is a direction, the location direction observation model setting step of setting the position direction observation model for the position and direction of the illumination feature may include.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 방향 확인 단계에서 상기 조명 특징에 방향이 없다고 판단된 경우, 상기 조명 특징의 위치에 대한 위치 방향 관측 모델을 설정하는 위치 관측 모델 설정 단계를 포함할 수도 있다. In the method for recognizing the moving robot position using the ceiling illumination direction characteristic, if it is determined that the illumination feature has no direction in the direction checking step, a position observation model setting step of setting a position direction observation model for the position of the illumination feature is performed. It may also include.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 갱신 단계는 상기 조명 특징에 대한 관측 모델을 설정하는 관측 모델 설정 단계를 포함하고, 상기 특징 정합 단계는: 상기 이동 로봇 장치의 예측 위치에서의 상기 관측 모델을 사용하여 연산된 예측 영상 및 상기 영상 감지부로부터의 영상 정보 내 조명 특징에 기초하여 정합 여부를 판단할 수도 있다. The method of recognizing the moving robot position utilizing the ceiling illumination direction characteristic, wherein the updating step includes an observation model setting step of setting an observation model for the illumination feature, and the feature matching step includes: at a predicted position of the mobile robot device; The matching may be determined based on the predicted image computed using the observation model and the lighting feature in the image information from the image sensor.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 특징 정합 단계에서, 상기 이동 로봇 장치의 예측 위치에서의 연산된 예측 영상 및 상기 영상 감지부로부터의 영상 정보 내 조명 특징에 기초하여 정합되지 않은 것으로 판단하는 경우, 상기 영상 감지부로부터의 영상 정보 내 조명 특징은 새로운 특징으로 설정하여 저장할 수도 있다. In the method for recognizing the moving robot position using the ceiling illumination direction characteristic, in the feature matching step, the matching image is not matched based on the predicted image calculated at the predicted position of the mobile robot apparatus and the illumination feature in the image information from the image sensor. If not determined, the illumination feature in the image information from the image sensor may be set as a new feature and stored.

상기 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 특징 정합 단계는: 상기 관측 모델에 기초하여 마할라노비스 거리를 연산하는 마할라노비스 거리 연산 단계와, 상기 마할라노비스 거리와 상기 저장부에 사전 설정되어 저장된 정합 임계 거리(d)를 비교하는 마할라노비스 거리 비교 단계와, 상기 마할라노비스 거리 비교 단계에서, 상기 마할라노비스 거리가 상기 정합 임계 거리보다 작은 경우 상기 조명 특징의 정합으로 설정하는 조명 특징 정합 설정 단계를 포함할 수도 있다. In the method of recognizing the moving robot position using the ceiling lighting direction characteristic, the feature matching step includes: a Mahalanobis distance calculation step of calculating a Mahalanobis distance based on the observation model, the Mahalanobis distance and the storage unit; Mahalanobis distance comparison step of comparing the matching threshold distance (d) pre-stored in the step; and in the Mahalanobis distance comparison step, when the Mahalanobis distance is less than the matching threshold distance, the matching of the illumination characteristics It may also comprise the step of setting the lighting feature registration to set.

본 발명의 다른 일면에 따르면, 본 발명은 천장의 영상 정보를 취득하는 영상 입력부와, 상기 영상 입력부의 영상 정보를 저장하는 저장부와, 상기 저장부에 저장된 영상 정보를 연산하여 예측 영상을 생성하는 연산부와, 상기 저장부로부터의 신호에 기초하여 조명 특징을 포함 가능한 특징을 추출하고, 상기 연산부로부터의 상기 조명 특징의 방향을 고려한 예측 영상과 상기 영상 입력부로부터의 실제 영상을 비교하는 정합 단계를 수행하여 현재 위치를 인식하는 제어부를 포함하는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공한다.According to another aspect of the present invention, the present invention generates a prediction image by calculating the image input unit for acquiring the image information of the ceiling, a storage unit for storing the image information of the image input unit, and the image information stored in the storage unit And a matching step of extracting a feature that may include an illumination feature based on a signal from the calculator and comparing a predicted image considering the direction of the illumination feature from the calculator with an actual image from the image input unit. The present invention provides a location-aware mobile robot device using a ceiling light direction characteristic including a control unit for recognizing a current position.

상기한 바와 같은 구성을 갖는 본 발명에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치는 다음과 같은 효과를 갖는다. According to the present invention having the above-described configuration, the method for recognizing a moving robot using a ceiling lighting direction characteristic and a location-aware mobile robot using a ceiling lighting direction characteristic using the same have the following effects.

첫째, 본 발명에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치는, 조명 특징을 활용하여 보다 정확한 특징 맵을 형성함으로써 보다 정확한 위치 인식을 가능하게 하는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공할 수 있다. First, the mobile robot position recognition method using the ceiling light direction characteristics according to the present invention and the position recognition mobile robot device using the ceiling light direction characteristics using the same, more accurate position recognition by forming a more accurate feature map by using the lighting characteristics It is possible to provide a method for recognizing a mobile robot using a ceiling light direction characteristic and a location-aware mobile robot device using a ceiling light direction characteristic using the same.

둘째, 본 발명에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치는, 단일 카메라를 통하여도 보다 정확한 특징 인지에 의한 위치 인식을 가능하게 함으로써, 장치의 제조 원가를 현저하게 절감시키고 운영 유지비를 감소시켜 비용 절감을 최대화할 수 있는 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치를 제공할 수도 있다. Second, the mobile robot position recognition method using the ceiling light direction characteristic according to the present invention and the position recognition mobile robot device using the ceiling light direction characteristic using the same, by enabling a position recognition by more accurate feature recognition through a single camera, It is also possible to provide a method for recognizing a mobile robot location using a ceiling light direction characteristic and a location-aware mobile robot device using the ceiling light direction characteristic using the same, which can significantly reduce the manufacturing cost of the device and reduce the operation maintenance cost to maximize the cost reduction. .

본 발명은 도면에 도시된 일실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

도 1은 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치의 개략적인 블록선도이다.
도 2는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 대한 개략적인 제어 흐름도이다.
도 3은 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 영상 입력 처리 단계에 대한 흐름도이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치의 영상 입력부에서 얻어진 영상 및 이의 왜곡 보정을 이룬 영상에 대한 개략적인 선도이다.
도 6은 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 개략적인 특징 추출 단계에 대한 흐름도이다.
도 7a는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 특징 추출 단계에서 추출되는 특징들에 대한 개략적인 선도이다.
도 7b는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 추출 단계의 구체적인 흐름도이다.
도 8은 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계의 구체적인 흐름도이다.
도 9는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 예측 단계에 대한 흐름도이다.
도 10a는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 갱신 단계에 대한 흐름도이다.
도 10b는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 특징 정합 단계에 대한 흐름도이다.
도 11 및 은 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징에 대한 영상 이진화 단계를 설명하는 상태도이다.
도 13 및 도 14는본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 특성 추출 단계를 설명하는 상태도이다.
도 15는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 추출 단계를 통하여 얻어진 조명 특징을 도시하는 상태도이다.
도 16 내지 도 19는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징의 특성을 나타내는 개략적인 상태도이다.
도 20 내지 도 22는본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 이동에 따른 특징의 불확실성의 저감을 나타내는 개략적인 상태도이다.
도 23 및 도 24는 이동 로봇 장치의 영상 입력부의 영상 정보 내 좌표계에서의 조명 특징을 포함하는 특징의 관측 모델의 좌표 관계를 설명하기 위한 상태도이다.1 is a schematic block diagram of a location-aware mobile robot device utilizing a ceiling lighting direction characteristic according to an embodiment of the present invention.
2 is a schematic control flowchart of a method for recognizing a mobile robot using a ceiling light direction characteristic according to an embodiment of the present invention.
3 is a flowchart illustrating an image input processing step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
4 and 5 are schematic diagrams of an image obtained by the image input unit of the position recognition mobile robot device utilizing the ceiling light direction characteristic according to an embodiment of the present invention and an image obtained by correcting the distortion thereof.
6 is a flowchart illustrating a schematic feature extraction step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
7A is a schematic diagram of features extracted in the feature extraction step of the method for recognizing a moving robot using the ceiling light direction characteristic according to an embodiment of the present invention.
7B is a detailed flowchart of a lighting feature extraction step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
8 is a detailed flowchart of a position recognition step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
9 is a flowchart illustrating a prediction step of a location recognition step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
FIG. 10A is a flowchart illustrating an update step of a location recognition step of the mobile robot location recognition method using the ceiling lighting direction characteristic according to an embodiment of the present invention.
FIG. 10B is a flowchart illustrating a feature matching step among position recognition steps of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
11 and 11 are state diagrams illustrating an image binarization step for lighting features of a method for recognizing a moving robot using a ceiling lighting direction characteristic according to an embodiment of the present invention.
13 and 14 are state diagrams illustrating an illumination feature characteristic extraction step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention.
FIG. 15 is a state diagram illustrating an illumination feature obtained through an illumination feature extraction step of the method for recognizing a moving robot using a ceiling illumination direction characteristic according to an embodiment of the present invention.
16 to 19 are schematic state diagrams illustrating characteristics of lighting features of a method for recognizing a moving robot using a ceiling lighting direction characteristic according to an embodiment of the present invention.
20 to 22 are schematic state diagrams illustrating a reduction in the uncertainty of a feature according to the movement of a method for recognizing a ceiling robot direction characteristic using a mobile robot according to an embodiment of the present invention.
23 and 24 are state diagrams for explaining the coordinate relationship of the observation model of the feature including the illumination feature in the coordinate system in the image information of the image input unit of the mobile robot device.

이하에서는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치 및 이의 위치 인식 방법에 대하여 도면을 참조하여 설명하기로 한다. Hereinafter, a position recognition mobile robot device utilizing a ceiling lighting direction characteristic and a position recognition mobile robot device utilizing a ceiling lighting direction characteristic and a method of recognizing a position thereof will be described with reference to the accompanying drawings.

도 1에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치의 개략적인 블록선도가 도시되고, 도 2에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 대한 개략적인 제어 흐름도가 도시되고, 도 3에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 영상 입력 처리 단계에 대한 흐름도가 도시되고, 도 4 및 도 5에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치의 영상 입력부에서 얻어진 영상 및 이의 왜곡 보정을 이룬 영상에 대한 개략적인 선도가 도시되고, 도 6에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 개략적인 특징 추출 단계에 대한 흐름도가 도시되고, 도 7a에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 특징 추출 단계에서 추출되는 특징들에 대한 개략적인 선도가 도시되고, 도 7b에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 추출 단계의 구체적인 흐름도가 도시되고, 도 8에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계의 구체적인 흐름도가 도시되고, 도 9에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 예측 단계에 대한 흐름도가 도시되고, 도 10a에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 갱신 단계에 대한 흐름도가 도시되고, 도 10b에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 위치 인식 단계 중 특징 정합 단계에 대한 흐름도가 도시되고, 도 11 및 도 12에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징에 대한 영상 이진화 단계를 설명하는 상태도가 도시되고, 도 13 및 도 14에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 특성 추출 단계를 설명하는 상태도가 도시되고, 도 15에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징 추출 단계를 통하여 얻어진 조명 특징을 도시하는 상태도가 도시되고, 도 16 내지 도 19에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 조명 특징의 특성을 나타내는 개략적인 상태도가 도시되고, 도 20 내지 도 22에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법의 이동에 따른 특징의 불확실성의 저감을 나타내는 개략적인 상태도가 도시되고, 도 23 및 도 24에는 이동 로봇 장치의 영상 입력부의 영상 정보 내 좌표계에서의 조명 특징을 포함하는 특징의 관측 모델의 좌표 관계를 설명하기 위한 상태도가 도시된다.1 is a schematic block diagram of a location recognition mobile robot device utilizing a ceiling lighting direction characteristic according to an embodiment of the present invention, Figure 2 shows a mobile robot position recognition using a ceiling lighting direction characteristic according to an embodiment of the present invention A schematic control flowchart of the method is shown, and FIG. 3 is a flowchart of an image input processing step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment of the present invention, and FIGS. 4 and 5. A schematic diagram of an image obtained from an image input unit of a position-aware mobile robot device and a distortion correction thereof is shown, and FIG. 6 illustrates an embodiment of the present invention. FIG. 7A is a flowchart illustrating a schematic feature extraction step of a method for recognizing a moving robot using a ceiling light direction characteristic according to an embodiment. Utilizing the ceiling lighting direction characteristics according to an embodiment of the present invention A schematic diagram of the features extracted in the feature extraction step of the mobile robot position recognition method is shown, and FIG. 7B uses the ceiling lighting direction characteristics according to an embodiment of the present invention. A detailed flowchart of the lighting feature extraction step of the mobile robot location recognition method is shown, and FIG. 8 is a detailed flowchart of the location recognition step of the mobile robot location recognition method utilizing the ceiling light direction characteristic according to an embodiment of the present invention. 9 is a flowchart illustrating a prediction step of a position recognition step of a method for recognizing a ceiling of a mobile robot according to an embodiment of the present invention, and FIG. 10A illustrates a ceiling light direction characteristic according to an embodiment of the present invention. A flowchart of an update step of the location recognition step of the mobile robot location recognition method is shown. Flowchart of the feature matching step of the position recognition step of the mobile robot position recognition method using a ceiling light direction characteristic according to an embodiment of the present invention is shown, Figures 11 and 12 using the ceiling light direction characteristic according to an embodiment of the present invention A state diagram illustrating an image binarization step for lighting features of a mobile robot position recognition method is illustrated, and FIG. 13 and FIG. 14 extract lighting feature characteristics of a mobile robot position recognition method using a ceiling light direction characteristic according to an embodiment of the present invention. A state diagram illustrating the steps is shown, and FIG. 15 is a state diagram showing the illumination features obtained through the lighting feature extraction step of the mobile robot position recognition method using the ceiling light direction characteristic according to an embodiment of the present invention, and FIG. 16. 19 to 19, the illumination of the mobile robot position recognition method using the ceiling light direction characteristic according to an embodiment of the present invention A schematic state diagram showing the characteristics of the gong is shown, and FIGS. 20 to 22 are schematic state diagrams showing the reduction of the uncertainty of the characteristics according to the movement of the method for recognizing the moving robot using the ceiling light direction characteristic according to an embodiment of the present invention. 23 and 24 are state diagrams for explaining the coordinate relationship of the observation model of the feature including the illumination feature in the coordinate system in the image information of the image input unit of the mobile robot apparatus.

본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)는 영상 입력부(100)와, 엔코더 감지부(200)와, 제어부(300)와, 저장부(400)와, 연산부(500)와, 구동부(600)를 포함한다. 제어부(300)는 다른 구성요소들과 전기적 소통을 이루어 입력 신호를 전달받고 각각의 구성요소로 제어 신호를 인가할 수 있다. 영상 입력부(100)는 다양한 구성이 가능한데, 본 실시예에서 영상 입력부(100)는 단안 카메라로 구성된다. 영상 입력부(100)는 단안 카메라로 구현되어 천장 영상(ceiling image)를 취득하는데, 영상 입력부(100)는 단안 카메라의 구성으로 인하여 대상과의 정확한 거리 인지는 용이하지 않다. 연산부(500)는 제어부(300)의 제어 신호에 따라 소정의 연산 과정을 수행하며, 저장부(400)는 사전 설정된 다양한 값들을 기저장하고 제어부(300)의 제어 신호에 따라 필요한 영상 정보 내지 위치 정보들을 저장한다. 구동부(600)는 전기 모터 등으로 구현되고, 제어부(300)의 제어 신호에 따라 구동되어 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)를 원하는 위치로 이동시킬 수 있는 구동력을 제공한다. 엔코더 감지부(200)는 구동부(300)에 의하여 구동되는 구동륜(미도시)의 회전수 및 회전 각도 등을 감지하는데, 회전 각도는 각각의 구동륜의 회전수의 차이에 따라 연산되어 도출되는 과정을 통하여 이루어질 수도 있다. The position recognition mobile robot apparatus 10 using the ceiling light direction characteristic according to an embodiment of the present invention may include an image input unit 100, an encoder detector 200, a controller 300, a storage unit 400, The calculator 500 and the driver 600 are included. The controller 300 may be in electrical communication with other components to receive an input signal and apply a control signal to each component. The image input unit 100 may be configured in various ways. In the present embodiment, the image input unit 100 may be configured as a monocular camera. The image input unit 100 is implemented as a monocular camera and acquires a ceiling image. The image input unit 100 may not easily recognize an accurate distance from an object due to the configuration of the monocular camera. The calculation unit 500 performs a predetermined calculation process according to the control signal of the control unit 300, and the storage unit 400 pre-stores various preset values and stores necessary image information or position according to the control signal of the control unit 300. Save the information. The driver 600 is implemented by an electric motor or the like, and is driven according to a control signal of the controller 300 to provide a driving force for moving the ceiling lighting direction characteristic utilizing position recognition mobile robot device 10 to a desired position. The encoder detecting unit 200 detects a rotation speed and a rotation angle of a driving wheel (not shown) driven by the driving unit 300, and the rotation angle is calculated and derived according to the difference in the rotation speed of each driving wheel. It may be through.

도 2에는 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)의 개략적인 제어 과정을 나타내는 흐름도가 도시되는데, 제어부(300)는 영상 입력부(100)로부터 천장 영상(또는 영상 정보)를 입력받아 영상 정보를 처리한다(S10). 영상 입력 처리 단계(S10)가 실행되기 전에 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)가 제공되는데, 도 2의 흐름도에서는 표기가 생략되었다. 2 is a flowchart illustrating a schematic control process of the position recognition mobile robot apparatus 10 using the ceiling lighting direction characteristic according to an embodiment of the present invention, wherein the controller 300 includes a ceiling image from the image input unit 100. Or image information) to process image information (S10). Before the image input processing step S10 is executed, a ceiling recognition direction characteristic utilizing position recognition mobile robot device 10 is provided, which is omitted in the flowchart of FIG. 2.

도 3에는 영상 입력 처리 단계(S10)에 대한 보다 구체적인 흐름의 일예가 도시되는데, 제어부(300)는 영상 입력부(100)에 제어 신호를 인가하여 단안 카메라로 구현되는 영상 입력부(100)가 현재 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)의 위치에서의 천장(ceiling)에 대한 영상 정보를 취득하도록 하고 이를 제어부(300)로 입력하도록 한다(S11). 제어부(300)는 입력된 영상 또는 영상 정보의 왜곡 여부를 판단하여(S12), 영상 또는 영상 정보에 화상 왜곡이 존재하는 경우, 이를 연산부(500)로 전달하여 영상에 대한 보정을 수행하는 영상 보정 단계를 수행한다(S13). 3 illustrates an example of a more specific flow of the image input processing step S10, in which the controller 300 applies a control signal to the image input unit 100 so that the image input unit 100 implemented as a monocular camera is currently suspended. Lighting direction characteristic utilization position recognition To obtain image information on the ceiling (ceiling) at the position of the mobile robot device 10 and to input it to the control unit 300 (S11). The controller 300 determines whether the input image or the image information is distorted (S12), and if image distortion exists in the image or the image information, the controller 300 transmits the image distortion to the operation unit 500 to correct the image. Perform the step (S13).

도 4 및 도 5에는 영상 보정 전후의 영상에 대한 개략적인 일예들이 도시되는데, 단안 카메라로 구현되는 영상 입력부(100)는 천장 영상에서의 특징을 추출하고 이를 지속적으로 추적할 수 있도록 하는 영상 또는 영상 정보를 얻을 수 있도록 넓은 시야를 확보하기 위하여 취득되는 영상 정보에 왜곡이 발생한다. 연산부(500)는 제어부(400)의 제어 신호에 따라 영상 입력부(100)로부터 입력되는 영상 또는 영상 정보를 가공하여 왜곡 현상을 보정한다. 영상 보정이 완료되거나 또는 영상 보정이 불필요하다고 판단한 경우, 제어부(300)는 보정된 영상 또는 영상 정보를 제어부(300)로 출력한다(S14). 4 and 5 illustrate schematic examples of an image before and after image correction. The image input unit 100 implemented as a monocular camera extracts a feature from a ceiling image and continuously tracks the image or image. Distortion occurs in the image information acquired to secure a wide field of view so that information can be obtained. The calculation unit 500 corrects the distortion by processing the image or the image information input from the image input unit 100 according to the control signal of the control unit 400. When it is determined that the image correction is completed or the image correction is unnecessary, the controller 300 outputs the corrected image or image information to the controller 300 (S14).

그런 후, 제어부(300)는 특징 추출 단계(S20)를 수행하는데, 제어부(300)는 화상 왜곡 등이 보정된 영상에 기초하여 현재 영상 내에 존재하는 조명 특징을 포함하는 특징을 추출한다. 본 발명의 일실시예에 따른 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법에 수행되는 특징 추출 단계에서 얻어지는 특징 중에는 조명 특징이 포함된다. 도 6에는 본 발명의 일실시예에 따른 특징 추출 단계에 대한 일예가 도시되는데, 먼저, 영상 정보로부터 코너 특징이 추출되고(S21), 조명 특징이 추출된다(S23). 본 실시예에서 조명 특징과 함께 코너 특징이 추출되는 것으로 도시되나, 조명 특징만이 추출되는 구조를 취할 수도 있고, 직선 특징 이외 도어 특징 등의 기타 특징이 부가적으로 추출될 수도 있는 등 설계 사양에 따라 다양한 변형이 가능하다. Thereafter, the controller 300 performs a feature extraction step S20. The controller 300 extracts a feature including an illumination feature existing in the current image based on the image in which image distortion and the like are corrected. Among the features obtained in the feature extraction step performed in the mobile robot position recognition method utilizing the ceiling light direction characteristic according to an embodiment of the present invention includes an illumination feature. 6 illustrates an example of a feature extraction step according to an embodiment of the present invention. First, a corner feature is extracted from image information (S21), and an illumination feature is extracted (S23). In the present embodiment, the corner feature is shown as being extracted together with the lighting feature, but only the lighting feature may be taken out, and other features such as the door feature may be additionally extracted in addition to the straight feature. Various modifications are possible accordingly.

도 7a에는 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치(10)가 취득하는 천장의 영상 정보에서 얻어지는 특징 중 코너 특징 및 조명 특징에 대한 개략적인 상태도가 도시되는데, 여기에는 직선 특징도 도시된다. 영상 정보로부터 코너 특징 추출이 이루어지는 단계들이 수행되는데, 코너 특징은 영상 정보에서의 물체 끝에 각진 부분이나 두 선이 교차하는 부분으로 형성된다. 영상 정보로부터 코너 특징 추출 단계는 통상적인 영상 정보 처리 과정과 동일하므로 이에 대한 구체적 설명은 생략한다. In FIG. 7A, a schematic state diagram of corner features and lighting features among the features obtained from the ceiling image information acquired by the ceiling recognition direction utilization utilizing position recognition mobile robot device 10 is illustrated. Steps in which corner feature extraction is performed from the image information are performed. The corner feature is formed as an angled portion or an intersection of two lines at the end of the object in the image information. Since the extracting of the corner feature from the image information is the same as a normal image information processing process, a detailed description thereof will be omitted.

특징 추출 단계(S20)는 조명 특징 추출 단계(S23)를 구비하는데, 조명 특징 추출 단계(S23)는 영상 이진화 단계(S231)와 레이블링 단계(S233)와 조명 특징 특성 추출 단계(S235)를 포함한다. 영상 이진화 단계(S231)는 영상 정보를 저장부(400)에 사전 설정 저장된 사전 설정 이진화 임계치(In,sat)에 기준으로 이진화하여 이진화된 조명 특징을 확정한다. 즉, 도 11 및 도 12에 도시된 바와 같이, 영상 정보에서 통상적으로 최대 밝기 값을 갖는 영역이 조명 특징이 배치되는 영역에 해당하므로, 영상 정보를 한 픽셀이 0 내지 255의 밝기값(In)를 갖는 흑백 영상으로 전환한다. 흑백 영상으로 전환된 영상 정보는 사전 설정되어 저장부(400)에 저장된 사전 설정 이진화 임계치(In,sat)를 기준으로 이진화를 실행한다. 본 실시예에서 사전 설정 이진화 임계치(In,sat)는 240으로 설정되었으나 실내 주행 환경의 조건에 따라 다양한 값이 선택될 수 있다. 이와 같은 영상 이진화 단계(S231)를 통하여 도 11의 영상 정보는 도 12와 같이 이진화된 영상 정보로 전환되는데, 제어부(300)는 이진화된 영상 정보로부터 조명 특징에 해당하는 영역을 추출하여 조명 특징을 확정한다. The feature extraction step S20 includes an illumination feature extraction step S23, and the illumination feature extraction step S23 includes an image binarization step S231, a labeling step S233, and an illumination feature feature extraction step S235. . In the image binarization step S231, the image information is binarized based on preset binarization thresholds In and Sat stored in the storage unit 400 to determine the binarized lighting feature. That is, as shown in FIG. 11 and FIG. 12, since a region having a maximum brightness value in the image information typically corresponds to a region where an illumination feature is disposed, a pixel having image information has a brightness value In of 0 to 255. Switch to black and white image with. The image information converted into the black and white image is preset and binarization is performed based on a preset binarization threshold In, sat stored in the storage 400. Although the preset binarization thresholds In and sat are set to 240 in this embodiment, various values may be selected according to the conditions of the indoor driving environment. Through the image binarization step S231, the image information of FIG. 11 is converted into binarized image information as shown in FIG. 12. The controller 300 extracts an area corresponding to an illumination feature from the binarized image information to obtain an illumination feature. Confirm.

그런 후, 제어부(300)는 레이블링 단계(S233)를 실행하는데, 레이블링 단계(S233)에서 이진화되어 확정된 조명 특징을 군집화시킨다. 즉, 영상 정보로부터 동시에 복수 개의 조명이 추출되는 경우 복수 개의 조명이 단일 조명인지 개별적인 조명인지 여부를 확정하기 위하여 군집화시키는 레이블링 단계를 실행하여 조명 특징에 해당하는 영역에 대한 군집된 영역을 확인하여 이를 통해 조명 특징의 개수를 확정한다. 도 13에 도시된 바와 같이 점선은 실제 조명 특징이 배치되는 영역을 나타내고 실선으로 한정된 군집화된 영역은 이진화된 영상 정보를 통하여 레이블링된 조명 특징을 나타낸다. Thereafter, the controller 300 executes the labeling step S233, which clusters the lighting features binarized and determined in the labeling step S233. That is, when a plurality of lights are extracted from the image information at the same time, the labeling step of grouping the plurality of lights to determine whether the lights are a single light or an individual light is executed to check the clustered areas of the areas corresponding to the lighting characteristics. To determine the number of lighting features. As shown in FIG. 13, the dotted line represents the area where the actual lighting feature is placed, and the clustered area defined by the solid line represents the lighting feature labeled through the binarized image information.

그런 후, 제어부(300)는 조명 특징 특성 추출 단계(S235)를 실행하는데, 조명 특징 특성 추출 단계(S235)에서 제어부(300)는 레이블링된 조명 특징의 주축 길이 및 방향 정보를 산출한다. 즉, 도 13의 레이블링된 조명 특징에 해당하는 영역에 대하여 이에 속한 점들이 이루는 분포에 대한 평균과 분산 개념을 이용하여 점들이 이루는 분포로부터 방위를 추출한다. (u,v)는 U-V 좌표계 상에서의 미세 영역의 점을 나타내고, cov(u,v)는 조명 특징의 해당 영역 내부에 해당하는 점들의 분포에 대한 공분산을 나타내고, (mu,mv)는 분포의 평균점을 지시한다. Then, the controller 300 executes the lighting feature characteristic extraction step S235, and in the lighting feature characteristic extraction step S235, the controller 300 calculates main axis length and direction information of the labeled lighting feature. That is, the direction is extracted from the distribution of the points by using the mean and the variance concept of the distribution of the points belonging to the area corresponding to the labeled illumination feature of FIG. 13. (u, v) denotes the point of a microregion on the UV coordinate system, cov (u, v) denotes the covariance of the distribution of points corresponding to the interior of the illumination feature, and (mu, mv) denotes the distribution Indicate the average score.

여기서, M은

과

로 표현된 타원 모양의 분포를 θ만큼 회전시키는 행렬로서, 상기와 같은 관계를 통하여 레이블링되는 조명 특징의 특성, 즉 주축 길이 및 방향 정보인

,

,θ를 다음과 같이 산출할 수 있다(도 14 참조).Where M is

and

A matrix that rotates an elliptic distribution expressed by θ by θ, which is a characteristic of the illumination feature labeled through the above relationship, that is, the principal axis length and direction information.

,

θ can be calculated as follows (see FIG. 14).

상기와 같은 관계를 통하여 조명 특징 특성이 산출되는데, 이로부터 해당 조명 특징에 대한 특성을 도 15에 도시된 바와 같이 확정할 수 있다. The lighting characteristic characteristic is calculated through the above relationship, from which the characteristic of the lighting characteristic can be determined as shown in FIG. 15.

상기와 같은 주축 길이로부터 주축 길이의 비(Rori)가 산출될 수 있다.Rori of the main axis length can be calculated from the main axis length as described above.

상기와 같은 조명 특징 특성 추출 단계(S235)가 완료된 후, 제어부(300)는 사전 설정 주축 길이 비교 단계(S237)를 실행한다. 사전 설정 주축 길이 비교 단계(S237)에서 제어부(300)는 레이블링되어 단계 S235에서 산출된 조명 특징의 특성 중 주축 길이의 비(Rori)를 저장부(400)에 사전 설정되어 저장된 사전 설정 주축 길이 비율(Rs)를 비교한다. 즉, 산출된 조명 특징의 주축 길이의 비(Rori)가 사전 설정 주축 길이 비율(Rs) 미만인 경우 제어부(300)는 현재 레이블링된 조명 특징은 장방향과 단방향의 주축 길이가 거의 유사하다고 판단하고 점과 같은 특징으로 인식하여 방향성이 없다고 판단하고 단계 S239의 조명 특징의 방향성이 없는 것으로 판단하는 방향성 없음 설정 단계(S239)를 실행한다. 반면, 산출된 조명 특징의 주축 길이의 비(Rori)가 사전 설정 주축 길이 비율(Rs) 이상인 경우 제어부(300)는 현재 레이블링된 조명 특징은 장방향과 단방향의 주축 길이 사이에 차이가 존재하고 방향성이 있다고 판단하여 단계 S239의 조명 특징의 방향성이 있는 것으로 판단하는 방향성 있음 설정 단계(S239)를 실행한다. After the lighting feature characteristic extraction step S235 is completed, the controller 300 executes a preset main axis length comparison step S237. In the preset spindle length comparison step (S237), the controller 300 is labeled to store the ratio of the spindle length (Rori) among the characteristics of the lighting feature calculated in step S235 in the storage unit 400 in advance and store the preset spindle length ratio. Compare (Rs). That is, when the ratio Rori of the calculated main axis length of the illumination feature is less than the preset main axis length ratio Rs, the controller 300 determines that the currently labeled illumination feature is almost similar in the major axis length in the long direction and the unidirectional direction. The non-directional setting step (S239) for determining that there is no directionality by recognizing the characteristic as follows and determining that there is no directionality of the lighting feature of step S239 is performed. On the other hand, if the ratio Rori of the calculated main axis length (Rori) is greater than or equal to the preset main axis length ratio (Rs), the controller 300 indicates that there is a difference between the main axis length and the unidirectional main axis length of the currently labeled illumination feature. It is judged that there exists, and the direction setting step S239 which judges that there is the directionality of the illumination characteristic of step S239 is performed.

도 16 내지 도 19에는 본 발명의 일실시예에 따른 조명 특징의 주축 길이의 비(Rori)의 비교예가 도시되는데, 도 16 내지 도 19와 같은 장방형 조명에 대한 조명 특징은 Rori가 본 실시예에서 1.5로 설정된 사전 설정 주축 길이 비율(Rs)보다 큰 값을 구비함으로써 소정의 방향성을 갖는 조명 특성으로 분류된다.16 to 19 are shown a comparative example of the ratio of the main axis length (Rori) of the illumination feature according to an embodiment of the present invention, the illumination feature for the rectangular illumination as shown in Figures 16 to 19 is Rori in this embodiment By having a value larger than the preset main axis length ratio Rs set to 1.5, it is classified as an illumination characteristic having a predetermined directionality.

이와 같은 조명 특징 추출 단계(S23)가 완료된 후, 제어부(300)는 단계 S20이 완료된 것으로 판단하고 단계 S30을 실행한다. 단계 S30에서 제어부(300)는 조명 특징을 포함하는 출된 조명 특징들을 사용하여 이동 로봇 장치(10)의 위치 인식을 실행하는데, 위치 인식 단계(S30)는 예측 단계(S31)와 갱신 단계(S32)와 특징 정합 단계(S33)와 추정 단계(S34)를 포함한다. 이와 같은 예측, 갱신, 특징 정합 및 추정 단계는 칼만 필터 또는 확장 칼만 필터(EKF)의 통상적인 방식을 따르나 본 실시예에 따른 위치 인식 단계는 조명 특징을 특성을 사용하여 갱신 단계에서 조명 특징의 특성 중 방향성의 유무에 따라 상이한 관측 모델을 적용한다는 점에서 차이가 있다. After the lighting feature extraction step S23 is completed, the controller 300 determines that step S20 is completed and executes step S30. In step S30, the control unit 300 executes the position recognition of the mobile robot apparatus 10 by using the emitted lighting features including the lighting features, and the position recognition step S30 includes the prediction step S31 and the updating step S32. And a feature matching step S33 and an estimation step S34. Such prediction, updating, feature matching, and estimating steps follow the conventional method of Kalman filter or Extended Kalman filter (EKF), but the position recognition step according to the present embodiment uses the lighting feature to characterize the lighting feature in the update step. The difference is that different observation models are applied depending on the presence or absence of the directionality.

즉, 이동 로봇 장치(10)의 영상 정보로부터 추출한 조명 특징을 포함하는 특징이 사용되는데, 본 실시예에 구비되는 영상 입력부(110)는 모노카메라로 구현되어 특징까지의 거리를 직접적으로 측정하지 못하고 표식에 대한 방위 정보만 알 수 있기 때문에, 수 회의 추정 과정을 거쳐 확률적으로 특징까지의 거리를 연산하게 된다. 이와 같은 영상 입력부(110)는 자체적인 관측 오차가 수반될 수 밖에 없기 때문에 특징이 존재할 수 있는 영역은 도 20에 도시된 바와 같이 가우시안 분포의 타원 형태로 표현되며 위치를 달리하며 수 회 관측되는 경우 특징에 대한 불확실성이 도 21 및 도 22에 도시된 바와 같이 수렴하게 된다. 이와 같이 이동 로봇 장치(10)의 위치는 관측한 특징의 위치를 기반으로 추정된다. That is, a feature including an illumination feature extracted from the image information of the mobile robot apparatus 10 is used. The image input unit 110 provided in the present embodiment is implemented as a mono camera and cannot directly measure the distance to the feature. Since only the bearing information about the marker is known, the distance to the feature is calculated stochasticly through several estimation processes. Since the image input unit 110 is accompanied with its own observation error, the region in which the feature may exist is represented by an ellipse form of Gaussian distribution as shown in FIG. Uncertainty about the features converges as shown in FIGS. 21 and 22. As such, the position of the mobile robot apparatus 10 is estimated based on the position of the observed feature.

이러한 추정을 위하여 사용되는 특징을 포함하는 EKF의 상태 벡터는 다음과 같이 표현될 수 있다. The state vector of the EKF including the features used for this estimation may be expressed as follows.

여기서, XR은 이동 로봇 장치(10)의 위치(절대좌표계 상의 위치와 방위각)를, XL은 3차원 공간 상에서의 조명 특징의 위치(절대좌표계 상의 위치와 방위각)를, XC는 3차원 공간 상의 코너 특징의 위치를 나타낸다. 전역 좌표계에서 조명 특징의 위치

는 영상 입력부로부터의 영상 정보에서 극좌표

로 표현되고, 전역 좌표계의 X축(도 24 참조) 기준의 조명 특징의 방위

는 영상 입력부로부터의 영상 정보에서 V축 기준의 방위

로 표현될 수 있다. 상기와 같은 상태 벡터에 대한 불확실성을 나타내는 공분산 행렬은:Here, XR is the position of the mobile robot device 10 (position and azimuth in absolute coordinate system), XL is the position of the illumination feature in the three-dimensional space (position and azimuth in absolute coordinate system), XC is the corner in three-dimensional space Indicates the location of the feature. Location of light features in the global coordinate system

Is the polar coordinate in the image information from the image input unit.

The orientation of the lighting feature relative to the X axis (see FIG. 24) of the global coordinate system.

Is the orientation of the V-axis reference in the image information from the image input unit.

It can be expressed as. The covariance matrix representing the uncertainty for such a state vector is:

와 같이 표현된다.

.

여기서, PR은 이동 로봇 장치(10)의 위치(위치 및 방위각)에 대한 공분산을, PC와 PL은 각각 코너 특징 및 조명 특징의 위치(위치 및/또는 방위각)에 대한 공분산을 나타낸다. 공분산 행렬 P의 비대각 원소(off-diagonal element)인 PRC,PRL,PCR,PCL,PLR,PLC는 PR,PC,PL과 관련된 교차 공분산(cross covariance) 행렬을 의미한다. Here, PR represents covariance with respect to the position (position and azimuth) of the mobile robot device 10, and PC and PL represent covariance with respect to the position (position and / or azimuth) of the corner feature and the illumination feature, respectively. The off-diagonal elements of the covariance matrix P, PRC, PRL, PCR, PCL, PLR, and PLC, mean a cross covariance matrix associated with PR, PC, and PL.

먼저, 예측 단계(S31)에서 제어부(300)는 감지부(100)의 영상 입력부(110)로부터의 영상 정보로부터 산출된 전단계에서의 이동 로봇 장치(10)의 추정 위치 및 조명 특징의 추정 영상과, 전단계로부터 현단계까지의 이동시 얻어진 엔코더 감지부(200)의 신호에 기초하여, 현단계에서의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측 영상을 생성한다. First, in the predicting step S31, the control unit 300 includes an estimated image of the estimated position and illumination characteristics of the mobile robot apparatus 10 in the previous step calculated from the image information from the image input unit 110 of the sensing unit 100. Based on the signal of the encoder detection unit 200 obtained when moving from the previous stage to the current stage, a prediction image of the illumination position at the prediction position and the prediction position of the mobile robot apparatus at the current stage is generated.

이와 같은 현단계에서의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측 영상은 EKF의 예측 상태벡터로부터 도출된다. 즉, 전단계인 시간 t-1에서 추정한 추정 위치를 포함하는 상태벡터에, 시간 t-1에서 시간 t 사이에 변화된 이동 거리 및 이동 각도인 오도메트리 정보를 적용하여 시간 t인 현단계에서의 이동 로봇 장치(10)의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측 영상을 도출할 수 있는데, 상태벡터

와 공분산 행렬

의 관계는 다음과 같이 표시된다. The predicted image of the predicted position of the mobile robot device and the illumination feature at the predicted position at this stage is derived from the predicted state vector of the EKF. That is, the current vector at time t is applied to the state vector including the estimated position estimated at time t-1, which is the previous step, by applying the changed distance and time odometry information between the time t-1 and time t-1. The predicted image of the mobile robot apparatus 10 and the illumination feature at the predicted position can be derived, and the state vector

And covariance matrix

The relationship of is expressed as

여기서, f는 이동 로봇 장치(10)의 동역학적 모델을 의미하고, Here, f means a dynamic model of the mobile robot device 10,

입력

는 전단계인 시간 t-1에서 현단계인 시간 t 사이의 이동 로봇 장치(10)의 좌우 구동휠의 이동 거리(

는 우측 구동휠의 이동거리,

는 좌측 구동휠의 이동거리)를, b는 구동휠 사이의 거리를,

와

는 각각 시간 t-1에서 추정한 조명 특징의 추정 위치(위치 및 방위)와 코너 특징의 추정 위치를 나타내는데, 코너 특징을 사용하지 않는 경우 이와 관련된 상태 변수를 제거할 수도 있다. 또한, 이러한 조명 특징의 추정 위치로부터 전단계에서의 조명 특징에 대한 추정 영상을 도출할 수 있다. input

Is the moving distance of the left and right driving wheels of the mobile robot apparatus 10 between the previous time t-1 and the current time t

Is the travel distance of the right drive wheel,

Is the moving distance of the left driving wheel, b is the distance between the driving wheels,

Wow

Each represents an estimated position (position and orientation) and an estimated position of the corner feature of the lighting feature estimated at time t-1, and may remove a state variable associated with the corner feature when the corner feature is not used. In addition, an estimated image of the lighting feature at the previous stage may be derived from the estimated position of the lighting feature.

또한, Q는 프로세스 잡음을,

와

는 각각 비선형 관계인 f의 자코비안 행렬을 나타내고, 위첨자 "-"는 갱신되지 않은 예측된 상태를 나타내고, kr과 kl은 각각 우측 및 좌측 구동휠과 이동 로봇 장치(10)가 가동되는 바닥면 간의 상호작용에 관한 상수를 지시한다. In addition, Q is the process noise,

Wow

Denotes Jacobian matrices of f each having a nonlinear relationship, superscript "-" denotes an unpredicted and predicted state, and kr and kl represent the interaction between the right and left drive wheels and the floor surface on which the mobile robotic device 10 operates, respectively. Indicate constants about action.

즉, 제어부(300)는 엔코더 감지부로부터의 신호로 이동 로봇 장치(10)의 이동 거리인 ut 및 영상 입력부(110)로부터의 영상 정보로부터 산출된 전단계에서의 이동 로봇 장치(10)의 추정 위치인

를 이용하여, 현단계에서의 이동로봇 장치의 예측 위치를 포함하는 현단계에서의 예측 상태벡터

를 산출하고, 이로부터 조명 특징에 대한 예측 위치를 파악하여 현상태(시간 t)에서의 조명 특징에 대한 예측된 예측 영상을 연산부(500)를 통하여 연산 산출할 수 있다. That is, the controller 300 estimates the position of the mobile robot apparatus 10 at the previous stage calculated from the ut which is the moving distance of the mobile robot apparatus 10 and the image information from the image input unit 110 by the signal from the encoder detector. sign

Using the predicted state vector at the current stage, including the predicted position of the mobile robot device at this stage

By calculating the prediction position for the illumination feature from this, it is possible to calculate and calculate the predicted prediction image for the illumination feature in the current state (time t) through the calculation unit 500.

그런 후, 제어부(300)는 갱신 단계(S32)를 실행하는데, 제어부(300)는 갱신 단계(S32)에서 사전 설정 주축 길이 비교 단계(S237)에서의 비교 결과에 따라 선택되는 관측 모델을 통하여 이동 로봇 장치(300)의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측값을 갱신한다. 갱신 단계(S32)는 방향 확인 단계(S321)와 위치 방향 관측 모델 설정 단계(S323)와 위치 관측 모델 설정 단계(S325)를 포함하는데, 위치 방향 관측 모델 설정 단계(S323)와 위치 관측 모델 설정 단계(S325)는 방향 확인 단계(S321)에서의 확인 결과에 따라 택일적으로 선택된다. Thereafter, the controller 300 executes an update step S32, which moves through an observation model selected in accordance with the comparison result in the preset spindle length comparison step S237 in the update step S32. The predicted value of the robot device 300 and the illumination characteristic at the predicted position are updated. The updating step S32 includes a direction checking step S321, a position direction observation model setting step S323, and a position observation model setting step S325, which include a position direction observation model setting step S323 and a position observation model setting step. S325 is alternatively selected according to the confirmation result in the direction confirming step S321.

방향 확인 단계(S321)에서 제어부(300)는 사전 설정 주축 길이 비교 단계(S237)에서의 비교 결과에 따른 조명 특징의 방향 유무를 확인한다. 즉, 단계 S237에서의 비교 결과에 따라 단계 S238 및 단계 S239에서 설정된 조명 특징에 대한 설정값에 따라 조명 특징이 방향성이 있다고 판단되는 경우 조명 특징의 위치 및 방향에 대한 위치 방향 관측 모델(hL)을 설정하는 위치 방향 관측 모델 설정 단계(S323)을 실행한다. 반면, 단계 S237에서 제어부(300)가 조명 특징에 대한 방향성이 없다고 판단하는 경우 조명 특징의 위치에 대한 위치 관측 모델(hL1)을 설정하는 위치 관측 모델 설정 단계(S325)를 실행한다. In the direction checking step S321, the control unit 300 checks whether the lighting feature is in the direction according to the comparison result in the preset spindle length comparison step S237. That is, when it is determined that the lighting feature is directional according to the setting values for the lighting features set in steps S238 and S239 according to the comparison result in step S237, the position direction observation model hL for the position and the direction of the lighting feature is determined. The setting of the direction direction observation model setting step S323 is performed. On the other hand, if it is determined in step S237 that the controller 300 has no directivity for the lighting feature, the controller 300 executes the location observation model setting step S325 for setting the position observation model hL1 for the location of the lighting feature.

위치 방향 관측 모델(hL1)은 현단계(시간 t)에서 예측한 상태벡터를 기준으로 이동 로봇 장치(10) 상의 좌표계 상에서 예측한 조명 특징의 위치 및 방위를 나타내도록 하는 관측 모델이다.The position direction observation model hL1 is an observation model for indicating the position and orientation of the illumination feature predicted on the coordinate system on the mobile robot apparatus 10 based on the state vector predicted at the present stage (time t).

도 23 및 도 24에는 영상 입력부(110)에서 취득되는 영상 정보 내 조명 특징을 이동 로봇 장치(10)의 좌표계(U-V) 상에서 표현한 관계 및 전역 좌표계(X-Y-Z) 에서의 조명 특징(내지 코너 특징)에 대한 관계를 도시하는 상태도가 도시되는데, 여기서 fcam은 영상 입력부(110)의 초점 거리를 지시하고, xoff는 이동 로봇 장치(10)의 회전 중심으로부터 이동 로봇 장치(10)의 정면으로의 영상 입력부(110)의 위치 오프셋을 나타내고,

은 영상 입력부(110)로부터 얻어진 영상 정보 내에서의 조명 특징의 위치(위치와 방위)를 나타낸다. 23 and 24 show relations of illumination features in the image information acquired by the image input unit 110 on the coordinate system UV of the mobile robot device 10 and illumination features (or corner features) in the global coordinate system XYZ. A state diagram showing the relationship between the two cameras is shown, where fcam indicates a focal length of the image input unit 110, and xoff indicates an image input unit from the rotation center of the mobile robot apparatus 10 to the front of the mobile robot apparatus 10. A position offset of 110),

Denotes the position (position and orientation) of the illumination feature in the image information obtained from the image input unit 110.

상기와 같은 위치 방향 관측 모델(hL) 및 예측 단계에서 얻어진 시간 t(현단계)의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측 영상을 도출 할 수 있는 예측한 상태벡터(

)를 사용하여, 현단계(시간 t)에서 예측한 상태 벡터를 기준으로 이동 로봇 장치(10) 내지 이동 로봇 장치(10)의 영상 입력부(110)의 좌표계(U-V) 상에서 예측한 조명 특징을 포함하는 특징의 위치(위치 및 방위)를 나타내는 관측값

을 도출할 수 있다.The predicted state vector for deriving the predicted image of the predicted position of the mobile robot apparatus at the time t (current stage) obtained in the position direction observation model hL and the predicted stage and the illumination characteristic at the predicted position (

), The lighting feature predicted on the coordinate system (UV) of the image input unit 110 of the mobile robot device 10 to the mobile robot device 10 based on the state vector predicted in the current step (time t). Observations indicating the position (position and orientation) of the feature

Can be derived.

한편, 단계 S237에서 조명 특징의 방향성이 없는 것으로 판단되어 조명 특징의 방향성 없음으로 설정되는 경우(S239), 제어부(300)는 단계 S321에서 단계 S325로 제어 흐름을 전환하여, 단계 S325를 통하여 상기와 같은 위치 관측 모델(hL1) 및 예측 단계에서 얻어진 시간 t(현단계)의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 방향성이 없고 점으로 간주되는 조명 특징에 대한 예측 영상을 도출 할 수 있는 예측 상태벡터(

)를 사용하여, 현단계(시간 t)에서 예측한 상태 벡터를 기준으로 이동 로봇 장치(10) 내지 이동 로봇 장치(10)의 영상 입력부(110)의 좌표계(U-V) 상에서 예측한 조명 특징을 포함하는 특징의 위치(위치)를 나타내는 관측값

을 도출할 수 있다.On the other hand, if it is determined in step S237 that there is no directionality of the illumination feature is set to no directionality of the illumination feature (S239), the control unit 300 switches the control flow from step S321 to step S325, and through the step S325 The predicted state of the mobile robot apparatus at the time t (current stage) obtained in the same position observation model hL1 and the predicted stage and the predicted state capable of deriving a predicted image of the lighting feature which is regarded as a point without direction at the predicted position. vector(

), The lighting feature predicted on the coordinate system (UV) of the image input unit 110 of the mobile robot device 10 to the mobile robot device 10 based on the state vector predicted in the current step (time t). An observation indicating the position (position) of the feature

Can be derived.

이때 사용되는 위치 관측 모델(hL1)은 상기 위치 방향 관측 모델(hL)로부터 방위를 나타내는 변수가 제거된 구조를 이루는데, 이때 조명 특징에 대한 상태벡터도

의 구조를 이룬다. In this case, the position observation model hL1 is used to form a structure in which a variable indicating an orientation is removed from the position direction observation model hL.

Forms the structure of.

여기서, 기술되지는 않으나 특징에 조명 특징 이외 코너 특징이 포함되는 경우, 코너 특징에 대한 관측 모델은 상기 방향성이 없는 조명 특징에 대한 관측 모델과 거의 동일하다. Here, if not described, but the feature includes a corner feature other than the illumination feature, the observation model for the corner feature is almost identical to the observation model for the non-directional illumination feature.

상기와 같이 현단계에서의 조명 특징에 대한 예측 위치를 포함하고 이로부터 예측 영상이 도출 가능한 예측 벡터 및 관측 모델을 통한 관측값이 도출된 후, 제어부(300)는 특징 정합 단계(S33)를 실행한다. As described above, after the observation values through the prediction vector and the observation model including the prediction position of the illumination feature at which the prediction image can be derived are derived, the control unit 300 executes the feature matching step S33. do.

특징 정합 단계(S33)에서 제어부(300)는 조명 특징의 정합이 이루어졌는지를 확인하고 정합 정보를 산출하는데, 특징 정합 단계(S33)에서 제어부(300)는 이동 로봇 장치(1)의 예측 위치에서의 관측 모델을 사용하여 연산된 예측 영상 및 영상 감지부(110)로부터 감지된 영상 정보 내 조명 특징에 기초하여 정합 여부를 판단한다. 즉, 예측 위치 등을 사용하여 관측 모델을 통하여 산출된 조명 특징에 대한 관측값과 실제 영상 입력부를 통하여 얻어지는 실제 조명 특징에 대한 값을 이용하여 정합이 이루어졌는지 여부를 판단하는데, 양자가 정합되지 않은 것으로 판단되는 경우(S337) 제어부(300)는 조명 특징이 새로운 특징으로 파악하는 특징 정보를 생성하여 추정 단계(S34)에서 별도의 이동 로봇 장치(10)의 예측 위치 등을 포함하는 예측 벡터를 갱신하지 않고 새로운 특징으로 파악하여 이동 로봇 장치의 위치 및 조명 특징의 위치(위치 및 방위)를 포함하는 상태 벡터 및 공분산 행렬에 대하여 새로운 특징을 부가한다.In the feature matching step S33, the controller 300 checks whether the lighting features are matched and calculates matching information. In the feature matching step S33, the controller 300 is located at the predicted position of the mobile robot apparatus 1. The matching image is determined based on the predicted image calculated using the observation model and the lighting feature in the image information detected by the image sensor 110. That is, it is determined whether or not a match is made by using the predicted position and the like for the illumination feature calculated through the observation model and the value for the actual illumination feature obtained through the real image input unit. If it is determined (S337), the control unit 300 generates feature information for identifying the lighting feature as a new feature and updates the prediction vector including the predicted position of the separate mobile robot apparatus 10 in the estimating step S34. New features are added to the state vectors and covariance matrices that include the position of the mobile robot device and the position (position and orientation) of the illumination feature.

반면, 특징 정합 단계(S33)에서 제어부(300)가 예측 위치 등을 사용하여 관측 모델을 통하여 산출된 조명 특징에 대한 관측값과 실제 영상 입력부를 통하여 얻어지는 실제 조명 특징에 대한 값을 이용하여 정합이 이루어진 것으로 판단하여 정합 완료라는 정합 정보를 생성하는 경우, 제어부(300)는 추정 단계(S34)에서 조명 특징을 활용하여 이동 로봇 장치(10)의 예측 위치 및 예측 위치에서의 조명 특징에 대한 예측값을 보정한다.On the other hand, in the feature matching step (S33), the control unit 300 matches by using the observation value for the lighting feature calculated through the observation model using the prediction position and the like and the value for the actual lighting feature obtained through the real image input unit. When it is determined that the matching is completed and generates matching information, the controller 300 utilizes the lighting feature in the estimation step S34 to estimate the predicted value of the lighting feature at the predicted position and the predicted position of the mobile robot apparatus 10. Correct.

이러한 특징 정합 단계(S33)는 마할라노비스 거리 연산 단계(S331)와 마할라노비스 거리 비교 단계(S333)와 조명 특징 정합 설정 단계(S335)를 포함하는데, 마할라노비스 거리 연산 단계(S331)에서 제어부(300)는 연산부(500)로 하여금 마할라노비스 거리를 연산하도록 한다. 즉, 마할라노비스 거리(Mahalanobis distance;dM)는 두 개 이상의 지점에서의 단순 거리 이외 표준편차 등을 고려한 거리(dM)로서 다음과 같이 정의된다. This feature matching step S33 includes a Mahalanobis distance calculation step S331, a Mahalanobis distance comparison step S333, and an illumination feature matching setting step S335, which are performed in the Mahalanobis distance calculation step S331. The controller 300 causes the calculator 500 to calculate the Mahalanobis distance. That is, Mahalanobis distance (dM) is defined as the distance dM considering the standard deviation and the like in addition to the simple distance from two or more points.

여기서, H=∂h/∂X로 상태 벡터 X에 대한 관측 모델(h)의 자코비안 행렬을, R은 영상 입력부(110)의 잡음을, Ψ는 이동 로봇 장치(10)에 대한 공분산과 영상 입력부(110)의 잡음을 포함한 조명 특징을 포함하는 특징에 대한 공분산을 나타내고, d는 저장부(400)에 사전 설정되어 저장된 정합 임계 거리를 나타낸다. Here, H = ∂h / ∂X, the Jacobian matrix of the observation model (h) for the state vector X, R is the noise of the image input unit 110, Ψ is the covariance and image for the mobile robot device 10 Covariance for a feature including an illumination feature including noise of input 110 is represented, and d represents a match threshold distance preset and stored in storage 400.

그런 후, 제어부(300)는 단계 S333에서 마할라노비스 거리(dM)와 사전 설정 정합 임계 거리(d)를 비교하는데, 다음과 같이 비교한다.Thereafter, the control unit 300 compares the Mahalanobis distance dM and the preset matching threshold distance d in step S333.

단계 S333에서 dM이 d 이상인 경우, 제어부(300)는 조명 특징을 새로운 특징으로 판단하여 상기한 추정 단계에서의 새로운 특징의 부가를 실행한다. 반면, 단계 S333에서 dM이 d 미만인 경우, 제어부(300)는 조명 특징의 위치 및 방향을 고려한 예측이 정확하게 이루어진 것으로 판단하고, 이동 로봇 장치(10)의 예측 위치 및 예측 위치에서의 조명 특징의 예측 영상을 보정, 보다 정확하게는 칼만 이득(Kalman gain)을 연산 이용하여 상태 벡터와 공분산 행렬을 보정하는 다음과 같은 과정을 추정 단계(S34)에서 실행한다.If dM is greater than or equal to d in step S333, the controller 300 determines that the lighting feature is a new feature and adds the new feature in the estimation step. On the other hand, when dM is less than d in step S333, the control unit 300 determines that the prediction considering the position and direction of the illumination feature is made correctly, and the prediction of the illumination feature at the predicted position and the predicted position of the mobile robot apparatus 10. In the estimation step S34, the following process of correcting an image, more precisely calculating a Kalman gain and correcting a state vector and a covariance matrix, is performed.

이와 같은 보정 과정의 추정 단계(S34)를 통하여 이동 로봇 장치(10)의 예측 위치가 보정되고 이 예측 위치에서의 조명 특징에 대한 예측 위치 및 방위를 포함하는 예측값을 보정하여 차후 시간 단계에서의 보다 정확한 예측 과정을 실행할 수 있다.
Through the estimation step S34 of the correction process, the predicted position of the mobile robot apparatus 10 is corrected, and the predicted value including the predicted position and azimuth of the illumination feature at the predicted position is corrected to further correct the value at a later time step. Accurate prediction can be performed.

상기 실시예들은 본 발명을 설명하기 위한 일예들로, 본 발명이 이에 국한되는 것은 아니다. 조명 특징의 방향성을 고려한 위치 인식 방법을 취하는 범위에서 다양한 변형이 가능하다. The above embodiments are examples for describing the present invention, but the present invention is not limited thereto. Various modifications are possible in the range of taking the position recognition method in consideration of the directionality of the lighting feature.

10...천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치 100...영상 입력부
200...엔코더 감지부 300...제어부
400...저장부 500...연산부
600...구동부10 ... Location recognition mobile robot device utilizing ceiling light direction characteristics 100 ... Image input unit
200 encoder encoder 300 controller
400 storage 500 operation
600 ... Driver

Claims

Providing a location-aware mobile robot device utilizing a ceiling light direction characteristic using an image input unit, encoder detection unit, arithmetic unit, a control unit, a storage unit, and a driving unit, and the image information input through the image input unit A video input processing step of processing, a feature extraction step of extracting a feature including an illumination feature based on the image information, and a location recognition step of recognizing a position of the mobile robot device using the extracted features; ,
The feature extraction step includes an illumination feature extraction step of extracting an illumination feature for the illumination disposed on the ceiling from the image information, wherein the illumination feature extraction step includes:
An image binarization step of determining a binarized lighting feature by binarizing the image information based on a preset binarization threshold stored in the storage unit;
Labeling the clustered binarized illumination features to extract labeled illumination features;
And a lighting feature characteristic extraction step of calculating the main axis length and the direction information of the labeled lighting feature.

delete

The method of claim 1,
And a preset spindle length comparison step of comparing a ratio of the spindle lengths of the labeled lighting features to a preset spindle length ratio preset and stored in the storage unit.

The method of claim 3, wherein
The location recognition step is:
Prediction of the mobile robot apparatus at this stage based on the estimated image of the estimated position and the illumination feature of the mobile robot apparatus at the previous stage calculated based on the image information from the image input unit and the signal of the encoder sensing unit. A prediction step of generating a prediction image of the illumination feature at a position and the prediction position;
An updating step of updating a predicted position of the mobile robot apparatus and a predicted value of the illumination feature at the predicted position through an observation model selected according to a comparison result in the preset spindle length comparison step;
A feature matching step of checking whether the matching of the lighting features is made and calculating matching information;
And an estimation step of correcting a predicted position of the mobile robot apparatus and a predicted value of the illumination feature at the predicted position according to the matching information of the feature matching step.

5. The method of claim 4,
The update step is:
A direction checking step of checking the presence or absence of a direction according to a comparison result in the preset spindle length comparison step;
In the direction confirming step, if it is determined that the lighting feature has a direction, the ceiling direction direction model utilization step of setting a position direction observation model for setting the position direction observation model for the position and direction of the illumination feature utilizing Mobile robot position recognition method.

6. The method of claim 5,
If it is determined that the lighting feature has no direction in the direction confirming step, setting the position observation model for setting the position direction observation model for the position of the illumination feature, characterized in that the mobile robot position using the ceiling lighting direction characteristics Recognition method.

5. The method of claim 4,
The updating step includes an observation model setting step of setting an observation model for the lighting feature,
The feature matching step is:
The position of the ceiling lighting direction characteristic utilizing robot, characterized in that the matching is determined based on the prediction image calculated using the observation model at the predicted position of the mobile robot device and the illumination feature in the image information from the image sensor. Recognition method.

8. The method of claim 7,
In the feature matching step, when it is determined that the image is not matched based on the predicted image calculated at the predicted position of the mobile robot apparatus and the illumination feature in the image information from the image sensor, the image information from the image sensor. The method of recognizing the robot position using the ceiling light direction characteristic, wherein the light feature is set as a new feature and stored.

8. The method of claim 7,
The feature matching step is:
A Mahalanobis distance calculation step of calculating a Mahalanobis distance based on the observation model;
A Mahalanobis distance comparison step of comparing the Mahalanobis distance with a matching threshold distance d preset and stored in the storage unit;
In the step of comparing the Mahalanobis distance, if the Mahalanobis distance is less than the matching threshold distance, the lighting feature matching setting step of setting to match the lighting feature, characterized in that it comprises a ceiling lighting direction characteristic utilization mobile robot position Recognition method.

A mobile robot apparatus for moving a position by a driving unit, comprising: an image input unit for acquiring image information of a ceiling, a storage unit storing image information of the image input unit, and image information stored in the storage unit to calculate a predicted image; A matching step of extracting a feature capable of including an illumination feature based on a generating unit and a signal from the storage unit, and comparing a predicted image in consideration of a direction of the illumination feature from the calculating unit with an actual image from the image input unit; A control unit for recognizing a current location by performing a
The controller processes the signal from the storage unit and the image information input through the image input unit, extracts a feature including an illumination feature based on the image information, and uses the extracted features. Recognizes the position of the binarized signal, and binarizes the image information based on a preset binarization threshold stored in the storage unit to determine a binarized lighting feature, and clusters the binarized lighting feature in order to extract the lighting feature. And extracting an illumination feature to extract the illumination feature, and to calculate an illumination feature feature for calculating main axis length and direction information of the labeled illumination feature.