KR20090073796A

KR20090073796A - Mobile robot unit based on the ceiling image/feature map of the image and the method for recognizing the self position of the same

Info

Publication number: KR20090073796A
Application number: KR1020070141851A
Authority: KR
Inventors: 송재복; 황서연
Original assignee: 고려대학교 산학협력단
Priority date: 2007-12-31
Filing date: 2007-12-31
Publication date: 2009-07-03
Also published as: KR100926601B1

Abstract

A mobile robot based on a ceiling image and a self positioning method thereof are provided to reduce the manufacturing cost by using a single camera to perceive accurate features for positioning. A mobile robot(10) based on a ceiling image comprises an image input unit(100), an encoder sensing unit(200), an operation unit(500), a control unit(300), a storage unit(400), and a drive unit(600). A self positioning method of the mobile robot includes a step of processing image information inputted through the image input unit, a step of extracting a feature including a door feature based on the image information, and a step of recognizing the location of the mobile robot by using the extracted features.

Description

MOBILE ROBOT UNIT BASED ON THE CEILING IMAGE / FEATURE MAP OF THE IMAGE AND THE METHOD FOR RECOGNIZING THE SELF POSITION OF THE SAME}

본 발명은 로봇 장치 및 이의 제어 방법에 관한 것으로, 보다 정확한 위치 인식을 가능하게 하는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법에 관한 것이다. The present invention relates to a robot apparatus and a control method thereof, and more particularly to a ceiling image-based mobile robot apparatus and a position recognition method thereof for enabling more accurate position recognition.

로봇에 대한 수요는 산업용으로서 뿐만 아니라 가정용에 대한 수요도 증대되고 있고, 이에 따라 로봇 연구가 활발하게 진행되고 있다. 특히, 종래의 위치 고정된 로봇과는 달리 이동 가능한 이동 로봇에 대한 연구가 활발하게 진행되고 있는데, 이동 가능한 이동 로봇은 주변 환경을 사용하여 자신의 위치를 정확하게 인식하는 기술 및 이를 위하여 기준이 되는 표식을 기점으로 자신의 위치 파악을 가능하게 하는 지도 작성에 대한 기술의 연구가 진행되고 있다. The demand for robots is not only for industrial use, but also for home use, and accordingly, research on robots is actively progressing. In particular, unlike conventional position-fixed robots, researches on mobile robots that can be moved are being actively conducted, and the mobile robots can recognize their position accurately using the surrounding environment and marks for reference. Starting from now, researches on techniques for making maps that enable one's own location are underway.

특히, 주변 환경으로부터 취득되는 정보 중 꼭지점 또는 직선과 같이 특정한 모양을 구비하는 정보를 특징(feature)라고 명명되며, 이들은 이용하여 작성된 지도를 특징 지도(feature map)라고 한다. 특징은 환경 내에서 로봇의 위치를 인식 하기 위한 표식으로 사용되기 때문에 어떠한 특징을 추출하여 이를 사용할 것인지 그리거 추출된 특징이 주변 환경의 변화에 따라 강인한 특성을 갖는지 등과 같은 사항이 정확한 특징 지도를 작성하는데 중요한 인자가 된다. In particular, information having a specific shape, such as a vertex or a straight line, among information obtained from the surrounding environment is called a feature, and these maps created using the feature map are called feature maps. Since the feature is used as a marker to recognize the position of the robot in the environment, it is important to create an accurate feature map such as what features to use and how to extract them, and whether the extracted features are robust according to changes in the surrounding environment. This is an important factor.

통상적으로 저가형 소형 로봇의 경우 주행을 위한 상태 감지를 위한 감지 센서로서 적외선 센서와 초음파 센서를 사용하는데, 적외선 센서는 직진성과 심한 노이즈로 인하여 정보 누설로 인한 정확한 지도 작성이 곤란하다. 또한 초음파 센서의 경우 감지 범위가 넓다는 장점이 있으나 이 경우에도 잡음이 심하여 정확한 지도 작성이 곤란하다는 문제점이 존재한다. In general, inexpensive miniature robots use an infrared sensor and an ultrasonic sensor as sensing sensors for driving a state, which is difficult to accurately map due to information leakage due to the straightness and heavy noise. In addition, the ultrasonic sensor has the advantage of a wide detection range, but even in this case, there is a problem that it is difficult to prepare accurate maps due to the noise.

이러한 단점들을 극복하기 위하여 천장 영상을 활용할 수 있는 천장지향형 단일 카메라를 구비하는 천장 영상 기반 로봇이 도출되었는데, 천장 영상의 활용이 가능한 천장지향형 단일 카메라를 구비하는 로봇은 사람 또는 장애물과 같은 동적 물체에 의한 간섭을 가능한 배제시킬 수 있고 표식에 대한 안정적인 추적이 가능하다는 장점을 구비하였다. 하지만, 이러한 종래 기술에 따른 천장지향형 단일 카메라를 구비하는 로봇의 경우, 특징으로 코너 특징과 직선 특징을 사용하였는데, 코너 특징의 경우 안정적인 정합이 가능하나 조명 변화등에 따른 밝기 변화에 의하여 정보의 변화가 심하고 직선 특징의 경우 복수의 직선이 구비되는 경우 혼동에 의한 정확한 정합 여부 판단이 어렵다는 문제점이 수반되었다. To overcome these shortcomings, a ceiling image-based robot with a ceiling-oriented single camera capable of utilizing ceiling images has been derived. A robot with a ceiling-oriented single camera capable of utilizing ceiling images has been applied to dynamic objects such as people or obstacles. Interference can be eliminated as much as possible and stable tracking of the marker is possible. However, in the case of a robot having a single ceiling-oriented camera according to the prior art, the corner feature and the straight feature are used as the features. In the case of the corner feature, stable matching is possible, but the change of information is caused by the change of brightness due to the lighting change. In the case of severe and straight line features, when a plurality of straight lines are provided, it is difficult to determine whether to accurately match due to confusion.

본 발명은 천장 영상을 이용하여 위치 인식을 이루되 보다 정확한 위치 인식 을 가능하도록 하는 특징을 사용하는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법을 제공하는 것을 목적으로 한다. An object of the present invention is to provide a ceiling image-based mobile robot device and a method for recognizing the location using a feature that makes the position recognition using the ceiling image, but more accurate position recognition.

전술한 목적을 달성하기 위한 본 발명은, 영상 입력부와, 엔코더 감지부와, 연산부와, 제어부와, 저장부와, 구동부를 구비하는 이동 로봇 장치를 제공하는 제공 단계와, 상기 영상 입력부를 통하여 입력된 영상 정보를 처리하는 영상 입력 처리 단계와, 상기 영상 정보에 기초하여 도어 특징을 포함 가능한 특징을 추출하는 특징 추출 단계와, 상기 추출된 특징들을 사용하여 상기 이동 로봇 장치의 위치를 인식하는 위치 인식 단계를 포함하는 천장 영상 기반 이동 로봇 위치 인식 방법을 제공한다. The present invention for achieving the above object, the providing step of providing a mobile robot device having an image input unit, an encoder detection unit, a calculation unit, a control unit, a storage unit, a drive unit, and input through the image input unit An image input processing step of processing the received image information, a feature extraction step of extracting a feature that may include a door feature based on the image information, and location recognition for recognizing a position of the mobile robot apparatus using the extracted features It provides a ceiling image-based mobile robot position recognition method comprising the step.

상기 천장 영상 기반 이동 로봇 위치 인식 방법에 있어서, 상기 특징 추출 단계는: 상기 영상 정보로부터 코너 특징을 추출하는 코너 특징 추출 단계와, 상기 영상 정보로부터 윤곽선을 추출하는 윤곽선 추출 단계와, 상기 영상 정보로부터 직선 특징을 추출하는 직선 특징 추출 단계와, 상기 영상 정보로부터 개방된 문에 대한 도어 특징을 추출하는 도어 특징 추출 단계를 포함할 수도 있다. In the ceiling image-based mobile robot position recognition method, the feature extraction step includes: a corner feature extraction step of extracting a corner feature from the image information, an outline extraction step of extracting an outline from the image information, and from the image information The method may include a straight feature extraction step of extracting a straight feature and a door feature extraction step of extracting a door feature of an open door from the image information.

상기 천장 영상 기반 이동 로봇 위치 인식 방법에 있어서, 상기 특징 추출 단계는: 상기 영상 정보로부터 천장에 배치되는 조명에 대한 조명 특징을 추출하는 조명 특징 추출 단계를 더 구비할 수도 있다. In the ceiling image-based mobile robot position recognition method, the feature extraction step may further include: an illumination feature extraction step of extracting an illumination feature for the illumination disposed on the ceiling from the image information.

또한, 상기 도어 특징은 상기 영상 입력부에서 얻어진 영상의 중심을 통과하는 두 개의 수직선부 및 상기 두 개의 수직선부를 연결하는 수평선부를 포함하되, 상기 도어 특징 추출 단계는 상기 도어 특징에 대응하는 도어 후보를 추출하는 도어 후보 추출 단계를 구비할 수도 있다. The door feature may include two vertical lines passing through the center of the image obtained by the image input unit and a horizontal line connecting the two vertical lines, wherein the door feature extraction step extracts a door candidate corresponding to the door feature. A door candidate extraction step may be provided.

그리고, 상기 도어 후보 추출후, 상기 도어 후보와 동일한 형태를 구비하는 도어 후보 샘플을 사전 설정된 개수로 형성하는 도어 후보 샘플링 단계를 구비할 수도 있고, 상기 도어 특징 추출 단계는: 상기 도어 후보 추출후, 상기 도어 후보에 대한 가상 평면의 설정 여부를 판단하는 가상 평면 설정 판단 단계와, 상기 가상 평면이 설정되지 않은 경우, 상기 영상 입력부 및 상기 엔코더 감지부의 입력 신호에 기초하여 상기 도어 후보 샘플에 대한 추정 영상을 생성하는 샘플링 추정 영상 생성 단계와, 상기 도어 후보 샘플에 대한 추정 영상과 상기 영상 입력부의 현재 영상을 비교하는 샘플 영상 비교 단계를 포함할 수도 있다. The method may include a door candidate sampling step of forming a predetermined number of door candidate samples having the same shape as the door candidate after extracting the door candidate. The door feature extraction step may include: extracting the door candidate; A virtual plane setting determination step of determining whether to set a virtual plane for the door candidate; and if the virtual plane is not set, an estimated image of the door candidate sample based on input signals of the image input unit and the encoder detection unit. And a sampling image comparison step of generating a sampling estimation image for comparing the estimated image of the door candidate sample with a current image of the image input unit.

상기 천장 영상 기반 이동 로봇 위치 인식 방법에 있어서, 상기 샘플 영상 비교 단계가 완료된 후, 상기 샘플 영상 비교 단계 결과에 기초하여 상기 도어 후보에 대한 도어 후보 샘플을 재설정하는 리샘플링 단계가 구비될 수도 있고, 상기 리샘플링 단계 후, 상기 도어 후보 샘플의 수렴도를 사전 설정 수렴치와 비교하고, 상기 도어 후보 샘플이 수렴된 것으로 판단되는 경우 상기 도어 후보 샘플이 수렴되는 도어 후보에 대한 가상 평면을 설정할 수도 있다. In the ceiling image-based mobile robot position recognition method, after the sample image comparison step is completed, a resampling step of resetting a door candidate sample for the door candidate may be provided based on a result of the sample image comparison step. After the resampling step, the convergence degree of the door candidate samples may be compared with a preset convergence value, and if it is determined that the door candidate samples have converged, a virtual plane may be set for the door candidates to which the door candidate samples converge.

또한, 상기 도어 특징 추출 단계는: 상기 가상 평면 설정 판단 단계에서 상기 가상 평면이 설정된 것을 판단되는 경우, 상기 영상 입력부 및 상기 엔코더 감지부의 입력 신호에 기초하여 상기 가상 평면에 대한 가상 평면 내 추정 영상을 생성하는 가상 평면 내 추정 영상 생성 단계와, 상기 가상 평면 내 추정 영상과 상기 영상 입력부의 현재 영상 중 도어 후보 내의 영상을 비교하는 가상 평면 영상 비교 단계를 포함할 수도 있다. The extracting of the door feature may include: estimating an image in the virtual plane with respect to the virtual plane based on input signals of the image input unit and the encoder detector when it is determined that the virtual plane is set in the virtual plane setting determination step. The method may further include generating an estimated intra-imaging image, and comparing the estimated virtual image with the image in the door candidate among the current images of the image input unit.

또한, 상기 가상 평면 내 추정 영상과 상기 현재 영상 중 도어 후보 내의 영상의 일치 여부를 판단하고, 상기 가상 평면 내 추정 영상과 상기 현재 영상 중 도어 후보 내의 영상이 서로 불일치하는 경우 상기 도어 후보 샘플이 수렴하는 도어 후보를 도어 특징으로 확정하는 도어 특징 확정 단계를 구비할 수도 있고, 상기 특징 추출 단계는, 상기 영상 정보로부터 천장에 배치되는 조명에 대한 조명 특징을 추출하는 조명 특징 추출 단계를 더 구비하고, 상기 조명 특징 추출 단계는: 상기 이동 로봇 장치의 현재 위치를 확인하는 위치 확인 단계와, 상기 영상 입력부의 영상 정보에 기초하여 영상 내 조명 특징의 존재 여부를 확인하는 조명 특징 판단 단계를 구비할 수도 있다. In addition, it is determined whether the estimated image in the virtual plane and the image in the door candidate among the current image match. If the estimated image in the virtual plane and the image in the door candidate among the current image are inconsistent with each other, the door candidate sample converges. The method may further include a door feature determination step of determining a door candidate to be a door feature, wherein the feature extraction step further includes an illumination feature extraction step of extracting an illumination feature for illumination disposed on the ceiling from the image information. The lighting feature extracting step may include: a positioning step of checking a current position of the mobile robot device and an illumination feature determination step of checking whether an illumination feature exists in the image based on the image information of the image input unit. .

상기 천장 영상 기반 이동 로봇 위치 인식 방법에 있어서, 상기 영상 내 조명 특징이 없는 경우, 영상의 밝기를 검출하는 영상 밝기 검출 단계와, 영상 내 영상 밝기가 사전 설정된 밝기 최대값과 동일한 영역에 대한 형상을 저장하는 조명 형상 저장 단계를 포함할 수도 있다. In the ceiling image-based mobile robot position recognition method, if there is no illumination feature in the image, the image brightness detection step of detecting the brightness of the image, and the shape of the image area in the image brightness is equal to the preset maximum brightness value; The lighting shape storage step may be included.

상기 천장 영상 기반 이동 로봇 위치 인식 방법에 있어서, 상기 위치 인식 단계는: 상기 엔코더 감지부의 신호에 기초하여 상기 이동 로봇 장치의 예측 위치를 예측하는 예측 단계와, 상기 이동 로봇 장치의 예측 위치에서의 연산된 예측 영상 및 상기 영상 감지부로부터의 영상 내 각각의 특징에 기초하여 정합 여부를 판단하는 정합 단계와, 상기 정합 단계에서 정합 정보에 기초하여 상기 이동 로봇 장 치의 위치를 보정하는 추정 단계를 포함할 수도 있고, 상기 정합 단계에서, 상기 이동 로봇 장치의 예측 위치에서의 연산된 예측 영상 및 상기 영상 감지부로부터의 영상 내 각각의 특징에 기초하여 정합되지 않은 것으로 판단하는 경우, 상기 영상 감지부로부터의 영상 내 특징은 새로운 특징으로 설정하여 저장할 수도 있다. In the ceiling image-based mobile robot position recognition method, the position recognition step includes: a prediction step of predicting a predicted position of the mobile robot apparatus based on a signal of the encoder sensing unit, and calculating at a predicted position of the mobile robot apparatus And a matching step of determining whether to match based on the predicted prediction image and each feature in the image from the image sensing unit, and an estimation step of correcting the position of the mobile robot device based on the matching information in the matching step. In the matching step, when it is determined that the image is not matched based on the predicted image calculated at the predicted position of the mobile robot apparatus and the respective characteristics in the image from the image sensing unit, the image from the image sensing unit Features in the image may be set as new features and stored.

또한, 상기 특징은 개방된 문을 나타내는 도어 특징과 천장의 조명을 나타내는 조명 특징을 포함하되, 상기 정합 단계는: 상기 도어 특징 또는 상기 조명 특징의 형상을 비교하는 단계를 포함할 수도 있다.The feature may also include a door feature representing an open door and an illumination feature representing illumination of a ceiling, wherein the matching step may include: comparing the shape of the door feature or the lighting feature.

본 발명의 다른 일면에 따르면, 구동부에 의하여 위치 이동을 이루는 이동 로봇 장치에 있어서, 천장의 영상 정보를 취득하는 영상 입력부와, 상기 영상 입력부의 영상 정보를 저장하는 저장부와, 상기 저장부에 저장된 영상 정보를 연산하여 예측 영상을 생성하는 연산부와, 상기 저장부로부터의 신호에 기초하여 도어 특징을 포함 가능한 특징을 추출하고, 상기 연산부로부터의 예측 영상과 상기 영상 입력부로부터의 실제 영상을 비교하는 정합 단계를 수행하여 현재 위치를 인식하는 제어부를 포함하는 천장 영상 기반 이동 로봇 장치를 제공한다.According to another aspect of the present invention, in the mobile robot device for moving the position by the drive unit, an image input unit for acquiring image information of the ceiling, a storage unit for storing the image information of the image input unit, and stored in the storage unit A calculating unit for calculating a predictive image by calculating image information, and extracting a feature including a door feature based on a signal from the storage unit, and comparing the predicted image from the calculating unit with the actual image from the image input unit. Provided is a ceiling image-based mobile robot device including a control unit for performing a step to recognize the current position.

상기한 바와 같은 구성을 갖는 본 발명에 따른 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법은 다음과 같은 효과를 갖는다. The ceiling image-based mobile robot device and its location recognition method according to the present invention having the configuration as described above has the following effects.

첫째, 본 발명에 따른 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법은, 도어 특징을 활용하여 보다 정확한 특징 맵을 형성함으로써 보다 정확한 위치 인식을 가능하게 하는 천장 영상 기반 이동 로봇 장치 및 제어 방법을 제공할 수 있다. First, the ceiling image-based mobile robot device and its location recognition method according to the present invention provide a ceiling image-based mobile robot device and a control method that enables more accurate location recognition by forming a more accurate feature map using a door feature. can do.

둘째, 본 발명에 따른 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법은, 단일 카메라를 통하여도 보다 정확한 특징 인지에 의한 위치 인식을 가능하게 함으로써, 장치의 제조 원가를 현저하게 절감시키고 운영 유지비를 감소시켜 비용 절감을 최대화할 수 있는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법을 제공할 수도 있다. Secondly, the ceiling image-based mobile robot device and its location recognition method according to the present invention enable the location recognition by more accurate feature recognition even through a single camera, thereby significantly reducing the manufacturing cost of the device and reducing the operation maintenance cost. It is also possible to provide a ceiling image-based mobile robot device and its location recognition method that can maximize the cost savings.

셋째, 본 발명에 따른 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법은, 조명 특징에 대한 활용을 가능하게 하여 조명의 유무 변화와 같은 주변 환경 변화에도 강인성을 부여하여 보다 정확한 위치 인식을 가능하게 할 수도 있다. Third, the ceiling image-based mobile robot device and its location recognition method according to the present invention enable the utilization of lighting features to give robustness to changes in the surrounding environment, such as changes in the presence or absence of lighting, thereby enabling more accurate location recognition. It may be.

본 발명은 도면에 도시된 일실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

이하에서는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법에 대하여 도면을 참조하여 설명하기로 한다. Hereinafter, a ceiling image-based mobile robot device and a method of recognizing a location thereof will be described with reference to the accompanying drawings.

도 1에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)에 대한 개략적인 블록 선도가 도시되고, 도 2에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)의 개략적인 제어 과정을 나타내는 흐름도가 도시된 다. FIG. 1 is a schematic block diagram of a ceiling image-based mobile robot device 10 according to an embodiment of the present invention, and FIG. 2 is a ceiling image-based mobile robot device 10 according to an embodiment of the present invention. A flow chart illustrating a schematic control process of is shown.

본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)는 영상 입력부(100)와, 엔코더 감지부(200)와, 제어부(300)와, 저장부(400)와, 연산부(500)와, 구동부(600)를 포함한다. 제어부(300)는 다른 구성요소들과 전기적 소통을 이루어 입력 신호를 전달받고 각각의 구성요소로 제어 신호를 인가할 수 있다. 영상 입력부(100)는 다양한 구성이 가능한데, 본 실시예에서 영상 입력부(100)는 단안 카메라로 구성된다. 영상 입력부(100)는 단안 카메라로 구현되어 천장 영상(ceiling image)를 취득하는데, 영상 입력부(100)는 단안 카메라의 구성으로 인하여 대상과의 정확한 거리 인지는 용이하지 않다. 연산부(500)는 제어부(300)의 제어 신호에 따라 소정의 연산 과정을 수행하며, 저장부(400)는 사전 설정된 다양한 값들을 기저장하고 제어부(300)의 제어 신호에 따라 필요한 영상 정보 내지 위치 정보들을 저장한다. 구동부(600)는 전기 모터 등으로 구현되고, 제어부(300)의 제어 신호에 따라 구동되어 천장 영상 기반 이동 로봇 장치(10)를 원하는 위치로 이동시킬 수 있는 구동력을 제공한다. 엔코더 감지부(200)는 구동부(300)에 의하여 구동되는 구동륜(미도시)의 회전수 및 회전 각도 등을 감지하는데, 회전 각도는 각각의 구동륜의 회전수의 차이에 따라 연산되어 도출되는 과정을 통하여 이루어질 수도 있다. Ceiling image-based mobile robot device 10 according to an embodiment of the present invention is an image input unit 100, encoder detection unit 200, the control unit 300, the storage unit 400, the operation unit 500 And a driving unit 600. The controller 300 may be in electrical communication with other components to receive an input signal and apply a control signal to each component. The image input unit 100 may be configured in various ways. In the present embodiment, the image input unit 100 may be configured as a monocular camera. The image input unit 100 is implemented as a monocular camera and acquires a ceiling image. The image input unit 100 may not easily recognize an accurate distance from an object due to the configuration of the monocular camera. The calculation unit 500 performs a predetermined calculation process according to the control signal of the control unit 300, and the storage unit 400 pre-stores various preset values and stores necessary image information or position according to the control signal of the control unit 300. Save the information. The driver 600 is implemented by an electric motor or the like and is driven according to a control signal of the controller 300 to provide a driving force for moving the ceiling image-based mobile robot device 10 to a desired position. The encoder detecting unit 200 detects a rotation speed and a rotation angle of a driving wheel (not shown) driven by the driving unit 300, and the rotation angle is calculated and derived according to the difference in the rotation speed of each driving wheel. It may be through.

도 2에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)의 개략적인 제어 과정을 나타내는 흐름도가 도시되는데, 제어부(300)는 영상 입력부(100)로부터 천장 영상(또는 영상 정보)를 입력받아 영상 정보를 처리한다(S10). 영상 입력 처리 단계(S10)가 실행되기 전에 천장 영상 기반 이동 로봇 장치(10)가 제공되는데, 도 2의 흐름도에서는 표기가 생략되었다. 도 3에는 영상 입력 처리 단계(S10)에 대한 보다 구체적인 흐름의 일예가 도시되는데, 제어부(300)는 영상 입력부(100)에 제어 신호를 인가하여 단안 카메라로 구현되는 영상 입력부(100)가 현재 천장 영상 기반 이동 로봇 장치(10)의 위치에서의 천장(ceiling)에 대한 영상 정보를 취득하도록 하고 이를 제어부(300)로 입력하도록 한다(S11). 제어부(300)는 입력된 영상 또는 영상 정보의 왜곡 여부를 판단하여(S12), 영상 또는 영상 정보에 화상 왜곡이 존재하는 경우, 이를 연산부(500)로 전달하여 영상에 대한 보정을 수행하는 영상 보정 단계를 수행한다(S13). 도 4 및 도 5에는 영상 보정 전후의 영상에 대한 개략적인 일예들이 도시되는데, 단안 카메라로 구현되는 영상 입력부(100)는 천장 영상에서의 특징을 추출하고 이를 지속적으로 추적할 수 있도록 하는 영상 또는 영상 정보를 얻을 수 있도록 넓은 시야를 확보하기 위하여 취득되는 영상 정보에 왜곡이 발생한다. 연산부(500)는 제어부(400)의 제어 신호에 따라 영상 입력부(100)로부터 입력되는 영상 또는 영상 정보를 가공하여 왜곡 현상을 보정한다. 영상 보정이 완료되거나 또는 영상 보정이 불필요하다고 판단한 경우, 제어부(300)는 보정된 영상 또는 영상 정보를 제어부(300)로 출력한다(S14). 2 is a flowchart illustrating a schematic control process of the ceiling image-based mobile robot apparatus 10 according to an embodiment of the present invention, wherein the controller 300 is a ceiling image (or image information) from the image input unit 100. Receives the input to process the image information (S10). Before the image input processing step S10 is executed, the ceiling image-based mobile robot apparatus 10 is provided. In the flowchart of FIG. 2, notation is omitted. 3 illustrates an example of a more specific flow of the image input processing step S10, in which the controller 300 applies a control signal to the image input unit 100 so that the image input unit 100 implemented as a monocular camera is currently suspended. Acquiring image information on the ceiling at the position of the image-based mobile robot device 10 and inputting it to the controller 300 (S11). The controller 300 determines whether the input image or the image information is distorted (S12), and if image distortion exists in the image or the image information, the controller 300 transmits the image distortion to the operation unit 500 to correct the image. Perform the step (S13). 4 and 5 illustrate schematic examples of an image before and after image correction. The image input unit 100 implemented as a monocular camera extracts a feature from a ceiling image and continuously tracks the image or image. Distortion occurs in the image information acquired to secure a wide field of view so that information can be obtained. The calculation unit 500 corrects the distortion by processing the image or the image information input from the image input unit 100 according to the control signal of the control unit 400. When it is determined that the image correction is completed or the image correction is unnecessary, the controller 300 outputs the corrected image or image information to the controller 300 (S14).

그런 후, 제어부(300)는 특징 추출 단계(S20)를 수행하는데, 제어부(300)는 화상 왜곡 등이 보정된 영상에 기초하여 현재 영상 내에 존재하는 특징을 추출한다. 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법에 수행되는 특징 추출 단계에서 얻어지는 특징 중에는 도어 특징이 포함된다. 도 6에는 본 발명의 일실시예에 따른 특징 추출 단계에 대한 일예가 도시되는데, 먼 저, 영상 정보로부터 코너 특징이 추출되고(S21), 영상 정보에서의 윤곽선이 추출되고(S22), 얻어진 윤곽선들로부터 직선 특징이 추출된다(S23). 직선 특징이 추출된 후, 도어 특징이 추출되는데(S25), 본 실시예에서는 도어 특징 추출 후, 조명 특징이 추출되는 단계를 더 구비한다. 도 7에는 천장 영상 기반 이동 로봇 장치(10)가 취득하는 천장의 영상 정보에서 얻어지는 특징 중 코너 특징과 직선 특징에 대한 개략적인 상태도가 도시된다. 영상 정보로부터 코너 특징, 윤곽선 추출 및 직선 추출이 이루어지는 단계들이 수행되는데, 코너 특징은 영상 정보에서의 물체 끝에 각진 부분이나 두 선이 교차하는 부분으로 형성된다. 영상 정보로부터 윤곽선 추출이 이루어진 후, 다양한 직선이 얻어지는데, 이들 직선 중 사전 설정된 길이 이상의 직선을 특징으로서의 직선 특징으로 설정한다. 직선 특징은 인접 직선들과 혼동 우려등이 있는 반면, 코너 특징은 주변 부분과 확연하게 구별 가능한 바 코너 특징은 위치 인식을 위한 표식으로 즉시 사용될 수 있다. 영상 정보로부터 코너 특징, 윤곽선 추출 및 직선 추출 단계는 통상적인 영상 정보 처리 과정과 동일하므로 이에 대한 구체적 설명은 생략한다. Thereafter, the controller 300 performs a feature extraction step S20. The controller 300 extracts a feature existing in the current image based on an image in which image distortion and the like are corrected. The door feature is included in the feature obtained in the feature extraction step performed in the position recognition method of the ceiling image-based mobile robot device according to an embodiment of the present invention. 6 shows an example of the feature extraction step according to an embodiment of the present invention. First, a corner feature is extracted from the image information (S21), an outline is extracted from the image information (S22), and the obtained outline is obtained. Straight line features are extracted from these (S23). After the straight feature is extracted, the door feature is extracted (S25). In this embodiment, after the door feature is extracted, the lighting feature is further provided. FIG. 7 is a schematic state diagram of corner features and linear features among features obtained from ceiling image information acquired by the ceiling image-based mobile robot apparatus 10. The corner feature, contour extraction and straight line extraction are performed from the image information. The corner feature is formed as an angled portion or an intersection of two lines at the end of the object in the image information. After contour extraction is performed from the video information, various straight lines are obtained. Among these straight lines, a straight line having a predetermined length or more is set as a straight line feature as a feature. While the straight line feature may be confused with adjacent straight lines, the corner feature is clearly distinguishable from the surrounding part, and the corner feature can be immediately used as a marker for position recognition. Since the corner feature, contour extraction and straight line extraction from the image information are the same as those of the conventional image information processing, a detailed description thereof will be omitted.

도어 특징 추출 단계(S25)에서 도어 특징이 추출되는데, 도어 특징은 천장 영상 기반 이동 로봇 장치(10)가 관통하여 주행 가능한 개방된 문에 대한 특징을 나타낸다. 도어 특징은 공간을 분할하는 경계로 사용될 수 있는데, 도어 특징은 두 개의 수직선부와 한 개의 수평선부를 포함한다. 도 8에는 도어 특징을 추출하는 도어 특징 추출 단계(S25)에 대한 일예로서의 보다 구체적인 제어 흐름이 도시된다. 여기서, 제어 흐름을 계수하는 도어 특징 추출 계수(n)가 구비되는데, 도어 특징 추출 계수(n)는 도어 특징 추출이 시작하는 경우 n=1의 값을 가지도록 설정되고, 소정의 단계를 수행한 경우 n=2로 설정되며, 도어 특징 추출이 완료되는 경우 n=1로 리셋된다. In the door feature extraction step S25, the door feature is extracted, and the door feature represents a feature of the open door that the ceiling image-based mobile robot apparatus 10 can travel through. The door feature can be used as a boundary that divides the space, which includes two vertical lines and one horizontal line. 8 shows a more specific control flow as an example for the door feature extraction step S25 for extracting the door feature. Here, the door feature extraction coefficient (n) for counting the control flow is provided, the door feature extraction coefficient (n) is set to have a value of n = 1 when the door feature extraction starts, and the predetermined step N = 2, and resets to n = 1 when the door feature extraction is complete.

도어 특징 추출 단계(S25)가 수행되는 경우, 제어부(300)는 도어 특징 추출 계수(n)를 1로 설정하고, 제어부(300)는 도어 특징 추출 계수(n)가 1인지 여부를 판단하여 도어 특징 추출 단계를 수행하기 위한 초기 진행 여부를 판단한다(S210). 그런 후, 도어 특징 추출 계수(n)가 1인 경우, 제어부(300)는 도어 후보 추출 단계(S211)를 수행한다. 도어 후보는 도어 특징에 해당하는지 여부가 판단되어지는 대상으로, 도어 특징에 대한 요건이 충족되는 경우 도어 후보는 도어 특징으로 확정된다. 본 발명에서 도어 특징은 두 개의 수직선부와 한 개의 수평선부를 포함하는데, 도 9에는 도어 특징을 설명하기 위한 개략적인 사시도가 도시되고, 도 10에는 도 9의 천장 영상 기반 이동 로봇 장치(10)의 영상 입력부(100)가 취득한 영상이 도시된다. 개방된 도어(문)는 천장 영상 기반 이동 로봇 장치(10)가 이동하는 지면에 수직하는 기둥과 두 개의 기둥의 상단을 연결하는 상단 틀로 형성된다. 따라서, 이동 로봇 장치의 영상 입력부에서 얻어지는 영상 정보는 도 9에 도시된 바와 같은 도면 부호 'A'로 지시되는 영상 평면에서 취득되고, 이와 같은 영상 평면은 도 10에 도시된 바와 같이 표시되는데, 지면에 수직하게 형성되는 기둥의 연장선은 영상의 중심을 통과하고, 지면에 수평한 상단 틀은 천장 영상 기반 이동 로봇 장치(10)의 이동과 회전에 영향을 받지만 기둥을 연결하는 구성을 취한다. 따라서, 영상에서 지면에 수직하는 기둥은 두 개의 수직선부에 대응하고 상단 틀은 수 평선부에 대응한다. 도 10에 도시된 천장 영상 기반 이동 로봇 장치(10)의 영상 입력부(100)에서 취득한 영상에 있어, 기둥에 대응하는 수직선부와 상단 틀에 대응하는 수평선부는 각각 복수 개의 직선으로 구현되는데, 제어부(300)는 연장선이 동일한 중심을 관통하되 중심으로부터 소정의 반경을 이루는 위치에서의 선분 간의 거리가 사전 설정된 소정의 간극 이하의 값을 가지는 경우 복수 개의 직선은 단일의 기둥에 대응하는 단일의 수직선부라고 판단하고, 상단 틀에 대응하는 복수 개의 직선으로 한 쌍의 수직선부를 연결하고 소정의 간극 거리를 이루는 경우 이들을 단일의 수평선부로 인식한다. When the door feature extraction step S25 is performed, the control unit 300 sets the door feature extraction coefficient n to 1, and the control unit 300 determines whether the door feature extraction coefficient n is 1 to determine the door. It is determined whether the initial progress for performing the feature extraction step (S210). Then, when the door feature extraction coefficient n is 1, the controller 300 performs a door candidate extraction step S211. The door candidate is an object in which it is determined whether or not it corresponds to the door feature. If the requirement for the door feature is satisfied, the door candidate is determined as the door feature. In the present invention, the door feature includes two vertical lines and one horizontal line. FIG. 9 shows a schematic perspective view for explaining the door feature, and FIG. 10 shows the ceiling image-based mobile robot apparatus 10 of FIG. 9. The image acquired by the image input unit 100 is shown. The open door (door) is formed of a pillar perpendicular to the ground to which the ceiling image-based mobile robotic device 10 moves and an upper frame connecting upper ends of two pillars. Therefore, the image information obtained from the image input unit of the mobile robot device is obtained from an image plane indicated by reference numeral 'A' as shown in FIG. 9, and such an image plane is displayed as shown in FIG. 10. The extension lines of the pillars formed perpendicular to the image pass through the center of the image, and the upper frame horizontal to the ground is affected by the movement and rotation of the ceiling-based mobile robot device 10, but takes a configuration of connecting the columns. Thus, the pillars perpendicular to the ground in the image correspond to the two vertical lines and the top frame corresponds to the horizontal lines. In the image acquired by the image input unit 100 of the ceiling image-based mobile robot device 10 shown in FIG. 10, the vertical line portion corresponding to the column and the horizontal line portion corresponding to the upper frame are each implemented by a plurality of straight lines. 300 indicates that a plurality of straight lines are a single vertical line portion corresponding to a single column when the distance between the line segments at positions where the extension line passes through the same center but has a predetermined radius from the center has a value less than or equal to a predetermined gap. When a pair of vertical lines are connected to each other by a plurality of straight lines corresponding to the upper frame and the predetermined gap distances are recognized, they are recognized as a single horizontal line.

이와 같이 도어 특징을 이루는 두 개의 수직선부와 한 개의 수평선부를 구비하는 대상이 존재하는지 여부를 판단하고(S212), 도어 후보가 존재하지 않는 경우 제어부(300)는 제어 흐름을 하기되는 단계 S235로 이동하여 도어 특징이 존재하지 않는 것으로 판단하여 이를 확정하고 도어 추출 단계의 수행을 종료한다. In this way, it is determined whether there is an object having two vertical lines and one horizontal line forming the door feature (S212), and if there is no door candidate, the control unit 300 moves to step S235 where a control flow is performed. It is determined that the door feature does not exist to confirm this and end the execution of the door extraction step.

반면, 도어 후보가 존재하는 것으로 제어부(300)가 판단하는 경우(S212), 제어부(300)는 검출된 도어 후보에 대한 도어 후보 샘플링 단계(S213)를 수행한다. 도어 후보 샘플링 단계(S213)에서 제어부(300)는 도어 후보와 동일한 형태를 구비하는 도어 후보 샘플을 사전 설정된 개수로 형성하는데, 도 11에는 도어 후보 샘플링 단계에 대한 개략적인 사시도가 도시되는데, 본 발명의 영상 입력부(100)는 단안 카메라로 사용되어 거리 인식이 곤란한 바, 영상 입력부(100)에서 얻어진 도어 후보에 대한 영상은 천장 영상 기반 이동 로봇 장치(10)로부터 실제로 어느 정도 떨어져 있는 지에 대한 판단이 곤란한 바, 도어 후보 샘플은 동일한 각도 방향으로 동일한 방사 선분 상에 배치되는 구조로 형성된다. 본 실시예에서 도어 후보 샘플의 개수는 200개 정도로 설정되는데, 이는 본 발명의 일예로서 보다 정확한 제어 과정을 위해서 보다 많은 개수의 도어 후보 샘플링이 이루어질 수도 있고, 경우에 따라 신속한 제어 과정을 위하여 보다 적은 개수의 도어 후보 샘플링이 이루어질 수도 있는 등 설계 사양에 따라 다양한 선택이 가능하다. On the other hand, when the controller 300 determines that the door candidate exists (S212), the controller 300 performs a door candidate sampling step (S213) on the detected door candidate. In the door candidate sampling step (S213), the controller 300 forms a predetermined number of door candidate samples having the same shape as the door candidate. In FIG. 11, a schematic perspective view of the door candidate sampling step is shown. Since the image input unit 100 of the image input unit 100 is used as a monocular camera, it is difficult to recognize the distance. Therefore, the image of the door candidate obtained from the image input unit 100 is determined as to how far apart from the ceiling image-based mobile robot apparatus 10. Since it is difficult, the door candidate sample is formed in the structure arrange | positioned on the same radial line segment in the same angular direction. In this embodiment, the number of door candidate samples is set to about 200. As an example of the present invention, more door candidate sampling may be performed for a more accurate control process, and in some cases, a smaller number of door candidate samples may be used for a faster control process. Various choices are possible, depending on design specifications, such as a number of door candidate samplings.

그런 후, 도어 특징 추출 계수(n)를 증가시키는데(S215), 도어 특징 추출 단계(S25)는 단일의 제어 흐름만을 수행이 완료되어 도어 후보가 추출되지 않고 수회의 반복 과정을 통하여 얻어진다. 즉, 도어 특징 추출 단계(S25)는 가상 평면 설정 판단 단계(S220)와, 샘플링 추정 영상 생성 단계(S221)와 샘플 영상 비교 단계(S223)를 포함한다. 도어 특징 추출 계수(n)가 1이 아닌 경우, 즉 도어 후보가 추출되고 도어 후보 샘플링이 완료된 경우, 제어부(300)는 가상 평면 설정 여부를 판단하는 가상 평면 설정 판단 단계(S220)를 수행한다. 여기서, 가상 평면이란 도어 후보을 포함하고 지면에 수직한 가상의 평면으로 도어 후보에 대하여 설정된 수 개의 도어 후보 샘플이 수렴되는 도어 후보(도어 후보 샘플)에 대한 평면을 의미하는데, 가상 평면은 도어 후보가 개방된 도어(문)을 나타내는 도어 특징으로서 확정 가능한지 여부를 판단하기 위한 기초로 사용된다. Then, to increase the door feature extraction coefficient (n) (S215), the door feature extraction step (S25) is obtained through several iterative processes without the door candidate is extracted because only a single control flow is completed. That is, the door feature extraction step S25 includes a virtual plane setting determination step S220, a sampling estimation image generation step S221, and a sample image comparison step S223. When the door feature extraction coefficient n is not 1, that is, when the door candidate is extracted and the door candidate sampling is completed, the controller 300 performs a virtual plane setting determination step S220 of determining whether to set the virtual plane. Here, the virtual plane means a plane for a door candidate (door candidate sample) that includes a door candidate and converges several door candidate samples set for the door candidate as a virtual plane perpendicular to the ground. It is used as a basis for determining whether or not it is definable as a door feature indicating an open door (door).

제어부(300)가 가상 평면이 형성되지 않은 것으로 판단하는 경우, 제어부(300)는 사전 설정된 개수의 도어 후보 샘플에 대하여 현재 천장 영상 기반 이동 로봇 장치(10)의 위치에서의 샘플링 추정 영상을 생성한다(S221). 즉, 제어부(300)는 저장부(400) 및 연산부(500)를 사용하여, 전회의 도어 후보 샘플링 단 계(S213)에서 얻어진 각각의 도어 후보 샘플에 대하여 천장 영상 기반 이동 로봇 장치(10)가 이동한 상태에서의 얻어질 수 있는 위치에 대하여 추정되는 영상을 생성한다. 도 12에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)의 시간 경과에 따라 위치 이동시 도어 후보 샘플에 대한 추정 영상 관계를 설명하기 위한 개략적인 상태도가 도시되는데, 천장 영상 기반 이동 로봇 장치(10)는 시간 t1으로부터 시간 t2만큼 시간 변위를 이루는 경우, 각각에 대응하는 위치로 이동한다. 여기서, 선 O-O는 천장 영상 기반 이동 로봇 장치(10)의 영상 입력부(100)에 대한 중심선을 나타내고, 각선분 AOA는 선 O-O를 중심으로 각각의 측방향으로 가중치 각도 ±θ만큼 각도의 범위를 갖는 각선분을 나타내는데, 각선분 AOA는 도어 후보 샘플 중 하기되는 유력한 도어 후보 샘플을 기준으로 새로운 도어 후보 샘플을 설정하기 위하여 사용되는 결정 기준으로 사용된다. When the controller 300 determines that the virtual plane is not formed, the controller 300 generates a sampling estimation image at the position of the current ceiling image-based mobile robot apparatus 10 with respect to a predetermined number of door candidate samples. (S221). That is, the control unit 300 uses the storage unit 400 and the calculation unit 500 to perform the ceiling image-based mobile robot apparatus 10 for each door candidate sample obtained in the previous door candidate sampling step S213. An estimated image is generated for the position that can be obtained in the moved state. FIG. 12 is a schematic state diagram for explaining an estimated image relationship for a door candidate sample when a position is moved as time passes by the ceiling image-based mobile robot apparatus 10 according to an embodiment of the present invention. When the robot apparatus 10 makes a time displacement by the time t2 from the time t1, it moves to the position corresponding to each. Here, the line OO represents the center line of the image input unit 100 of the ceiling image-based mobile robot device 10, each line AOA has a range of angles by the weight angle ± θ in each lateral direction around the line OO The line segment AOA is used as a decision criterion used to set a new door candidate sample based on a potential door candidate sample described below among the door candidate samples.

먼저, 가상 평면이 설정되지 않은 것으로 판단되는 경우, 제어부(300)는 도어 후보에 대한 수 개의 도어 후보 샘플 중 유력한 도어 후보 샘플이 선택 내지 수렴되지 않은 것으로 판단하고, 현재 시간 t2에서 천장 영상 기반 이동 로봇 장치(10)가 얻을 수 있을 것이라고 추정되는 전회 시간 t1에서 얻어진 도어 후보 샘플에 대한 추정 영상을 생성한다. 전회 시간 t1에서 얻어진 도어 후보 샘플에 대하여 연산되어 시간 t2에서 보여질 것으로 예상 추정되는 영상은 전회 시간 t1에서 영상 입력부(100)로부터 얻어진 영상과, 천장 영상 기반 이동 로봇 장치(10)의 엔코더 감지부(200)로부터 얻어진 천장 영상 기반 이동 로봇 장치(10)의 이동 및 회전 정보에 기초하여 연산부(500)가 연산하여 생성한다. First, when it is determined that the virtual plane is not set, the controller 300 determines that a probable door candidate sample is not selected or converged among several door candidate samples for the door candidate, and moves based on the ceiling image at the current time t2. The robot apparatus 10 generates an estimated image of the door candidate sample obtained at the last time t1 estimated to be obtained. The images estimated for the door candidate samples obtained at the previous time t1 and estimated to be shown at the time t2 are the images obtained from the image input unit 100 at the previous time t1 and the encoder detection unit of the ceiling image-based mobile robot apparatus 10. The calculation unit 500 calculates and generates the generated image based on the movement and rotation information of the ceiling image-based mobile robot apparatus 10 obtained from 200.

시간 t1에서 설정된 도어 후보 샘플에 대한 시간 t2에서 추정된 영상 생성이 완료된 경우, 제어부(300)는 샘플링 추정 영상과 현재 시간 t2에서 영상 입력부(100)로부터 얻어진 현재의 영상을 비교하는 샘플 영상 비교 단계를 수행한다(S223). 이와 같은 샘플 영상 비교 단계(S223)를 통하여, 제어부(300)는 샘플 추정 영상과 현재 얻어진 영상 간에 가장 유사한 샘플 추정 영상을 선택하고, 이에 대응하는 도어 후보 샘플을 유력한 도어 후보 샘플로 선정한다. When generation of the image estimated at time t2 for the door candidate sample set at time t1 is completed, the control unit 300 compares the sample estimated image with the current image obtained from the image input unit 100 at the current time t2. Perform (S223). Through such a sample image comparison step (S223), the controller 300 selects a sample estimation image that is most similar between the sample estimation image and the currently obtained image, and selects a door candidate sample corresponding thereto as a strong door candidate sample.

샘플 영상 비교 단계(S223)가 완료된 후, 샘플 영상 비교 단계 결과에 기초하여 도어 후보에 대한 도어 후보 샘플을 재설정하는 리샘플링 단계(S225)를 수행한다(S225). 즉, 제어부(300)는 샘플 영상 비교 단계를 통하여 얻어진 유력한 도어 후보 샘플을 기준으로 도어 후보에 대한 도어 후보 샘플을 재설정하는데, 전회, 즉 시간 t1에서의 선 O-O와 본회, 즉 시간 t2에서의 각선분 AOA와 교차되는 교차점 B1,B2 사이에 배치되는 선 B1-B2 사이의 영역에서 새로운 도어 후보 샘플이 선정된다. 여기서, 샘플 추정 영상과 시간 t2에서의 현재 영상의 비교를 통하여 가장 유사한 것으로 판단되어지는 유력한 도어 후보 샘플은 선 B1-B2에 배치되는데, 가중치 각도 ±θ는 각선분 AOA을 이루는 사이 각도로 사용되어 유력한 도어 후보 샘플을 기준으로 수렴 영역을 한정시킴으로써, 재샘플링시 신속한 수렴 과정을 이루도록 한다. 도 12에서 축 C1-C2로 이루어지는 도표는 유력한 도어 후보 샘플을 기준으로 도어 후보 샘플을 재설정하는데 사용되는 가중치 값을 변화시키기 위한 가중치 선도가 도시되는데, 가중치(w)에 대한 가중치 선도의 면적의 합은 1을 이룬다. 여기서, 가중치 선도는 삼각형 형상을 이루도록 설정되었으나, 이는 일예일뿐 설계 사양에 따라 포물선 형상으로 형성될 수도 있는 등 다양한 변형이 가능하다. After the sample image comparison step S223 is completed, a resampling step S225 of resetting the door candidate samples for the door candidates is performed based on the result of the sample image comparison step S225. That is, the controller 300 resets the door candidate samples for the door candidates based on the prevailing door candidate samples obtained through the sample image comparison step. A new door candidate sample is selected in the area between the lines B1-B2 arranged between the intersection points B1, B2 intersecting with the line segment AOA. Here, a potent door candidate sample which is determined to be the most similar through the comparison of the sample estimated image with the current image at time t2 is disposed on the line B1-B2, and the weight angle ± θ is used as an angle between the line segments AOA. By defining the convergence region based on the potential door candidate samples, a fast convergence process is achieved during resampling. In FIG. 12 the plot of axes C1-C2 is shown a weight plot for changing the weight value used to reset the door candidate sample based on the potent door candidate sample, which is the sum of the area of the weight plot against the weight w. Makes 1 Here, the weight diagram is set to form a triangular shape, but this is only one example, and may be variously modified, such as may be formed in a parabolic shape according to the design specifications.

리샘플링 단계가 완료된 후, 제어부(300)는 도어 후보 샘플에 대한 수렴도를 사전 설정 수렴치와 비교한다(S227). 도어 후보 샘플의 위치를 천장 영상 기반 이동 로봇 장치(10)가 이동하는 지면에 투영시키는 경우, 도 12의 축 D1-D2와 같은 선도로 표현되는데, 도어 후보 샘플은 시간 t1에서의 선 O-O과 평행한 장방향의 타원형으로 표현 가능한데, 도어 후보 샘플의 수렴도는 축 D1-D2에서의 장방향 축선 길이를 수렴 길이(l)로 설정하고 이를 사전 설정된 수렴치로서의 사전 설정 수렴 길이(ls)와 비교하여 도어 후보 샘플의 수렴 여부를 판단한다. 예를 들어, 사전 설정 수렴 길이(ls)가 약 50cm로 설정된 경우, 수렴 길이(l)가 50cm 이하로 약 40cm 정도의 길이를 가지는 경우, 사전 설정된 개수로 샘플링된 도어 후보 샘플이 유력한 도어 후보 샘플을 중심으로 수렴을 이루었다고 판단하고, 유사도가 가장 높고 가중치가 가장 높은, 즉 도어 후보에 해당할 확률이 가장 높은 도어 후보 샘플을 도어 후보로 설정하여 도어 후보 샘플이 수렴되었다고 판단한다. 그런 후, 제어부(300)는 수렴되었다고 판단되고 확률이 가장 높은 도어 후보 샘플에 대한 가상 평면을 형성하는데, 가상 평면은 지면에 수직한 형태로 구현된다(S229). 도 12 및 도 13에 도시된 바와 같이, 시간 t1에서 시간 t2로 시간 경과시 천장 영상 기반 이동 로봇 장치(10)는 위치 이동을 이루고, 수렴된 도어 후보 샘플에 대하여 지면에 수직한 가상 평면을 설정한다. After the resampling step is completed, the controller 300 compares the convergence degree for the door candidate sample with the preset convergence value (S227). When the position of the door candidate sample is projected on the ground where the ceiling image-based mobile robot apparatus 10 moves, it is represented by a diagram such as axes D1-D2 of FIG. 12, wherein the door candidate sample is parallel to the line OO at time t1. It can be expressed as one long ellipse, where the convergence of the door candidate samples is set to the length of the longitudinal axis on the axis D1-D2 as the convergence length (l) and compared with the preset convergence length (ls) as the preset convergence value. It is determined whether the door candidate samples have converged. For example, when the preset convergence length ls is set to about 50 cm, and when the convergence length l has a length of about 40 cm by 50 cm or less, the door candidate sample that is sampled by the preset number is the predominant door candidate sample. It is determined that convergence has been achieved based on, and the door candidate samples have been converged by setting the door candidate samples having the highest similarity and the highest weight, that is, the most likely to correspond to the door candidates, as the door candidates. Thereafter, the controller 300 determines the convergence and forms a virtual plane for the door candidate sample having the highest probability, and the virtual plane is implemented in a form perpendicular to the ground (S229). As shown in FIGS. 12 and 13, when the time elapses from time t1 to time t2, the ceiling image-based mobile robotic device 10 moves and sets a virtual plane perpendicular to the ground with respect to the converged door candidate samples. do.

도어 특징 추출 단계(S25)는 가상 평면 내 추정 영상 생성 단계(S230)와, 가상 평면 영상 비교 단계(S231)를 포함하는데, 제어부(300)는 단계 S220에서 가상 평면이 설정된 것으로 판단하는 경우, 제어부(300)는 저장부(400)에 기저장된 시간 전회 시간에서의 영상 정보를 사용하여 현재 시간에서의 가상 평면 내 추정 영상을 생성한다(S230). 이러한 가상 평면 내 추정 영상 생성은 저장부(400)에 저장된 전회의 가상 평면에 대응하는 도어 후보 샘플에 대한 영상으로부터 연산부(500)를 통하여 새로이 얻어질 수 있으나, 천장 영상 기반 이동 로봇 장치(10)의 위치 인식에 대한 제어 주기가 빠른 경우, 별도의 연산을 거치지 않고 전회에 생성된 샘플링 추정 영상을 그대로 사용하는 구조를 취할 수도 있다. The door feature extraction step S25 includes an estimated image generation step S230 and a virtual plane image comparison step S231 in the virtual plane. When the control unit 300 determines in step S220 that the virtual plane is set, the control unit The 300 generates an estimated image in the virtual plane at the current time by using the image information at a time prior to the time previously stored in the storage 400 (S230). The estimated image generation in the virtual plane may be newly obtained from the image of the door candidate sample corresponding to the previous virtual plane stored in the storage 400 through the calculator 500, but the ceiling image-based mobile robot apparatus 10 may be newly generated. If the control cycle for the position recognition of is fast, it may take a structure that uses the sampling estimation image generated last time as it is, without performing a separate operation.

그런 후, 제어부(300)는 생성된 가상 평면 내 추정 영상을 천장 영상 기반 이동 로봇 장치(10)의 영상 입력부(100)로부터 얻어진 현재 영상(왜곡 보정이 이루어진)과 비교하고(S231), 양자의 일치 여부를 판단한다(S233). 도 14는 전회 시간에서 영상 입력부에서 얻어진 가상 평면(Pv1)에 대한 영상을 나타내고, 도 15는 가상 평면 내 추정 영상과 현재 시간에서의 실제 영상이 일치하는 경우에 대한 영상을 나타내고, 도 16은 가상 평면 내 추정 영상과 현재 시간에서의 실제 영상이 불일치하는 경우에 대한 영상을 나타낸다. Thereafter, the control unit 300 compares the generated virtual in-plane estimation image with the current image (distortion correction is performed) obtained from the image input unit 100 of the ceiling image-based mobile robot apparatus 10 (S231). It is determined whether or not a match (S233). FIG. 14 shows an image of the virtual plane Pv1 obtained by the image input unit at the previous time, FIG. 15 shows an image of a case where the estimated image in the virtual plane coincides with the actual image at the current time, and FIG. An image in the case where there is a mismatch between the in-plane estimated image and the actual image at the present time.

도 14에서 전회 시간에서의 가상 평면(Pv1) 내에 윤곽선(Tv1)이 인식되고, 도 15에는 천장 영상 기반 이동 로봇 장치(10)가 이동/회전한 경우의 가상 평면(Pv2)에서의 추정된 영상에서의 윤곽선(Tv2, 점선)은 현재 영상 입력부에서 얻어진 도어 후보에 대한 영상에서의 윤곽선(TR2)이 도시되는데, 각각의 추정 영상 및 현재 영상에서의 윤곽선(Tv2 및 TR2)는 서로 일치한다. 추정 영상에서의 윤곽선(Tv2)은 가상 평면(Pv2)이 벽과 같은 밀폐된 상태라고 가정하여 전회 시간에서의 가상 평면(Pv1)에 대한 정보를 엔코더 감지부(200)로부터 얻어지는 천장 영상 기반 이동 로봇 장치(10)의 이동/회전 정보를 사용하여 연산한 것이어서, 양자가 일치하는 경우 가상 평면(Pv2)은 밀폐된 상태, 즉 개방된 도어가 아니라고 판단한다. 반면, 도 16에는 천장 영상 기반 이동 로봇 장치(10)가 이동/회전한 경우의 가상 평면(Pv2)에서의 추정된 영상에서의 윤곽선(Tv2, 점선)과 현재 영상 입력부에서 얻어진 도어 후보에 대한 영상에서의 윤곽선(TR2)이 도시되는데, 천장 영상 기반 이동 로봇 장치(10)가 이동/회전 한 경우의 가상 평면(Pv2)은 영상 입력부에서 얻어진 영상에서의 도어 후보와 일치하나, 각각의 추정 영상 및 현재 영상에서의 윤곽선(Tv2 및 TR2)는 서로 불일치한다. 추정 영상에서의 윤곽선(Tv2)은 가상 평면(Pv2)이 벽과 같은 밀폐된 상태라고 가정하여 전회 시간에서의 가상 평면(Pv1)에 대한 정보를 엔코더 감지부(200)로부터 얻어지는 천장 영상 기반 이동 로봇 장치(10)의 이동/회전 정보를 사용하여 연산한 것이어서, 양자가 불일치하는 경우 가상 평면(Pv2)은 밀폐되지 않은 상태, 즉 개방된 도어라고 판단한다.In FIG. 14, the contour Tv1 is recognized in the virtual plane Pv1 at the previous time, and FIG. 15 is an estimated image in the virtual plane Pv2 when the ceiling image-based mobile robot apparatus 10 is moved / rotated. The outline Tv2 (dotted line) in is shown as the outline TR2 in the image for the door candidate obtained in the current image input unit, and the outlines Tv2 and TR2 in each of the estimated image and the current image coincide with each other. The contour Tv2 in the estimated image assumes that the virtual plane Pv2 is in a closed state such as a wall, and the ceiling image-based mobile robot obtains information about the virtual plane Pv1 at the previous time from the encoder sensor 200. It is calculated using the movement / rotation information of the device 10, so that if they match, it is determined that the virtual plane Pv2 is not in a closed state, that is, an open door. On the contrary, in FIG. 16, the image of the door candidate obtained from the outline Tv2 (dashed line) in the estimated image in the virtual plane Pv2 when the ceiling image-based mobile robot apparatus 10 moves / rotates, and the current image input unit. The outline TR2 at is shown. The virtual plane Pv2 when the ceiling image-based mobile robot apparatus 10 is moved / rotated matches the door candidate in the image obtained from the image input unit, but each estimated image and The outlines Tv2 and TR2 in the current image are inconsistent with each other. The contour Tv2 in the estimated image assumes that the virtual plane Pv2 is in a closed state such as a wall, and the ceiling image-based mobile robot obtains information about the virtual plane Pv1 at the previous time from the encoder sensor 200. It is calculated using the movement / rotation information of the device 10, so that if they are inconsistent, the virtual plane Pv2 is determined to be in an unsealed state, that is, an open door.

따라서, 제어부(300)가 단계 S233에서 가상 평면 내 영상과 실제 영상에서의 도어 후보 내의 영상이 일치하는 경우, 수렴된 도어 후보 샘플로서의 도어 후보는 개방된 도어가 아닌 벽 내지 밀폐된 도어로 판단한다(S235). 반면, 제어부(300)가 단계 S233에서 가상 평면 내 영상과 실제 영상에서의 도어 후보 내의 영상이 불일치하는 경우, 수렴된 도어 후보 샘플로서의 도어 후보는 개방된 도어로 판단하여 수렴된 도어 후보 샘플로서의 도어 후보를 도어 특징으로 ㅎ호확정하는 도어 특징 확정 단계(S237)를 수행하고, 도어 특징 추출 계수(n)를 리셋하여 n=1의 값으로 재 설정한다(S239). 상기와 같은 도어 특징 추출 단계(S25)는 보다 정확한 위치 인식을 위하여 상당한 연산 시간 내지 도출 시간을 요하는 바, 각각의 도어 특징 추출 단계는 천장 영상 기반 이동 로봇 위치 인식 방법에 대한 수회의 제어 주기를 거친 후에 도출될 수도 있다. Therefore, when the image in the virtual plane and the image in the door candidate in the actual image coincide in step S233, the controller 300 determines that the door candidate as the converged door candidate sample is not a door open but a closed door. (S235). On the other hand, when the control unit 300 does not match the image in the virtual plane and the image in the door candidate in the real image in step S233, the door candidate as the converged door candidate sample is determined to be an open door and the door as the converged door candidate sample is determined. A door feature determination step (S237) for determining a candidate as a door feature is performed, and the door feature extraction coefficient n is reset to reset to a value of n = 1 (S239). As described above, the door feature extraction step S25 requires a considerable calculation time or a derivation time for more accurate position recognition. Each door feature extraction step includes several control cycles for the ceiling image-based mobile robot position recognition method. May be derived after coarse.

특징 추출 단계(S20)는 도어 특징 추출 단계(S25)를 수행한 후, 경우에 따라 조명 특징 추출 단계(S27)를 더 구비할 수도 있다. 도 17에 도시된 바와 같이, 조명 특징 추출 단계(S27)는 영상 입력부(100)를 통하여 입력되는 영상 정보로부터 천장에 배치되는 조명에 대한 조명 특징을 추출하는 단계인데, 조명 특징 추출 단계(S27)는 위치 확인 단계(S270)와, 조명 특징 판단 단계(S271)를 포함한다. 위치 확인 단계(S270)에서 제어부(300)는 천장 영상 기반 이동 로봇 장치(10)의 현재 위치를 인지하는데, 천장 영상 기반 이동 로봇 장치(10)의 현재 위치는 엔코더 감지부(200)의 신호에 기초하여 연산될 수 있다. 조명 특징 판단 단계(S271)에서 제어부(300)는 영상 입력부(100)로부터 입력되는 영상 정보에 기초하여 저장부(400)에 저장된 특징에 대한 위치 정보와 엔코더 감지부(2000로부터의 위치 정보를 사용하여 해당 위치에서의 영상 내 조명 특징이 존재하는지 여부를 확인 판단한다. The feature extraction step S20 may further include an illumination feature extraction step S27 after performing the door feature extraction step S25. As shown in FIG. 17, the lighting feature extraction step S27 is a step of extracting an illumination feature for lighting disposed on the ceiling from the image information input through the image input unit 100, and the lighting feature extraction step S27. Includes a positioning step S270 and an illumination feature determination step S271. In the step S270, the controller 300 recognizes a current position of the ceiling image-based mobile robot device 10, and the current position of the ceiling image-based mobile robot device 10 is based on a signal of the encoder sensor 200. It can be calculated based on that. In the lighting feature determination step (S271), the control unit 300 uses the position information on the feature stored in the storage unit 400 and the position information from the encoder detection unit 2000 based on the image information input from the image input unit 100. Determine whether there is a lighting feature in the image at the corresponding position.

영상 내 조명 특징이 없다고 판단되는 경우, 제어부(300)는 영상 밝기 검출 단계(S275)와 조명 형상 저장 단계(S277)를 수행한다. 즉, 제어부(300)가 영상 내 조명 특징이 존재하지 않는다고 판단하는 경우, 제어부(300)는 영상 입력부(100)로부터 입력된 현재의 영상 밝기, 즉 영상 내 화소의 밝기 검출을 수행하고(S275), 검출된 영상 밝기를 설정된 영상 밝기 최대값(Bmax)과 비교한다(S276). 영상 밝기 가 영상 밝기 최대값과 동일한 화소가 존재하지 않는 경우, 제어부(300)는 영상 내 조명 특징이 존재하지 않는다고 판단하고 조명 특징의 부재를 확정하며(S278), 천장 영상 기반 이동 로봇 장치(10)의 위치 인식 과정에 이를 반영하지 않는다. 반면, 영상 밝기를 동일 밝기의 화소 별로 그룹핑을 수행하고, 그룹핑된 화소중 영상 밝기 최대값과 비교하여 도 18에 도시된 바와 같이 이들 동일한 화소의 윤곽선을 기준으로 조명의 형상 및 위치를 저장하며(S277), 조명 특징의 존재를 확정하여(S274) 이를 위치 인식 과정에 반영한다. If it is determined that there is no illumination feature in the image, the controller 300 performs an image brightness detection step S275 and an illumination shape storage step S277. That is, when the controller 300 determines that there is no illumination feature in the image, the controller 300 detects the current image brightness input from the image input unit 100, that is, the brightness of the pixel in the image (S275). In operation S276, the detected image brightness is compared with the set image brightness maximum value Bmax. If there is no pixel whose image brightness is equal to the image brightness maximum value, the controller 300 determines that there is no lighting feature in the image and determines the absence of the lighting feature (S278), and the ceiling image-based mobile robot device 10 ) Is not reflected in the location recognition process. On the other hand, image brightness is grouped for each pixel of the same brightness, and compared to the image brightness maximum value among the grouped pixels, and the shape and position of the illumination are stored based on the contour of these same pixels as shown in FIG. S277), the existence of the lighting feature is determined (S274) and reflected in the position recognition process.

또한, 영상 내 조명 특징이 존재한다고 판단되는 경우, 제어부(300)는 영상 내 윤곽선 검출을 통하여 폐곡선 존재 여부를 검색하고(S272), 검색된 폐곡선을 저장부(400)에 저장된 조명 특징과 비교한다(S273). 폐곡선 형상과 저장된 조명 특징의 형상이 일치하는 경우, 조명 특징의 존재를 확정하여(S274) 이를 위치 인식 과정에 반영한다. 반면, 폐곡선 형상과 저장된 조명 특징의 형상이 일치하지 않는 경우, 제어부(300)는 조명 특징이 부재하는 것으로 확정하고(S278), 천장 영상 기반 이동 로봇 장치(10)의 위치 인식 과정에 이를 반영하지 않는다. In addition, when it is determined that there is an illumination feature in the image, the controller 300 searches for the existence of the closed curve by detecting the contour in the image (S272), and compares the retrieved closed curve with the illumination feature stored in the storage unit 400 ( S273). If the shape of the closed curve and the shape of the stored lighting feature coincide with each other, the existence of the lighting feature is determined (S274) and reflected in the position recognition process. On the other hand, if the shape of the closed curve and the shape of the stored lighting feature does not match, the control unit 300 determines that the lighting feature is absent (S278), and does not reflect this in the position recognition process of the ceiling image-based mobile robot device 10. Do not.

특징 추출 단계(S20)가 수행된 후, 제어부(300)는 천장 영상 기반 이동 로봇 장치(10)의 위치 인식 단계(S30)를 수행하는데, 위치 인식 단계(S30)는 추출된 특징들을 사용하여 이동 로봇 장치의 위치를 인식한다. 도 19에는 본 발명의 일실시예에 따른 위치 인식 단계(S30)에 대한 개략적인 흐름도가 도시되고, 도 20에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치(10)의 이동 경로 및 엔코더 감지부로부터의 정보에 기초한 예측 경로를 나타내는 개략적인 선도가 도시된 다. 위치 인식 단계(S30)는 예측 단계(S31)와 정합 단계(S33)와 추정 단계(S35)를 포함하는데, 예측 단계(S31)는 엔코더 감지부(200)의 신호에 기초하여 이동 로봇 장치의 예측 위치를 예측한다. 여기서, 예측 위치는 전회 시간에서의 위치에서 엔코더 감지부(200)로부터의 신호에 기초하여 본회 시간에서 이동되었을 것이라고 예측되는 위치를 나타내는데, 도 20에서 초기 위치 s0로부터 시간이 t=t1, t=t2로 경과하는 동안 엔코더 감지부(100)로부터의 정보에 기초하여 예측된 s1, s2의 예측 위치는 경우에 따라 실제 위치 s1',s2'와 불일치할 수도 있다. 한편, 영상 입력부(100)로부터 얻어지는 실제 영상에서 얻어지는 특징에 대한 위치는 불확실 영역(도 21 참조; 도 12의 축 D1-D2 참조) 상에 배치되고, 하기되는 특징의 정합 여부는 예측 영상에서의 특징이 실제 영상에서의 특징에 대한 불확실 영역 상에 배치되는지 여부를 판단함으로써 이루어진다. 즉, 제어부(300)는 천장 영상 기반 이동 로봇 장치(10)의 예측 위치에서의 연산된 예측 영상 및 영상 감지부(100)로부터의 영상 내 각각의 특징에 기초하여 정합 여부를 판단하는 정합 단계(S33)를 수행한다. 정합 단계(S33)에서 예측 영상 및 영상 감지부(100)로부터의 영상 내 각각의 특징의 정합이 이루어지지 않은 것으로 판단되는 경우, 제어부(300)는 정합되지 않은 특징을 새로운 특징으로 인식하여 이를 저장부(400)에 저장한다. 예를 들어, 제어부(300)는 예측 위치에서의 예측 영상에서의 특징과 실제 영상에서의 특징의 위치를 비교하는데, 실제 영상에서의 특징에 대한 불확실 영역 내에 예측 영상에서의 특징이 위치하지 않는 경우 제어부(300)는 영상 입력부(100)로부터 얻어진 실제 영상에서의 정보와 엔코더 감지부로부터의 정보를 사용하여 실제 영상 내의 특징을 새로운 특징으로 파악하고 새로운 특징에 대한 위치를 저장부(400)에 저장한다. 반면, 예측 영상에서의 특징이 실제 영상에서의 특징에 대한 불확실 영역 내에 배치되는 경우, 제어부(300)는 양자가 정합된 것으로 판단하고 구체적 비교를 통하여 오차 여부 및 이를 위치 인식 과정에 반영할 정도를 판단한다. 즉, 제어부(300)는 양자가 정합된 것으로 판단된 경우, 특징의 구체적 비교를 통하여 특징의 오차 여부에 의한 위치 오차 보정 정도를 판단하고 산출한다. 이러한 일치 정도는 코너 특징의 경우 실제 영상에서의 특징 영상과 예측 영상에서의 특징 영상에 대한 화소의 밝기 비교를 통하여 이루어질 수도 있고, 도어 특징 및 조명 특징은 특징의 형상 비교를 통하여 이루어질 수도 있다. After the feature extraction step S20 is performed, the controller 300 performs a location recognition step S30 of the ceiling image-based mobile robot device 10, and the location recognition step S30 moves using the extracted features. Recognize the location of the robotic device. 19 is a schematic flowchart of a location recognition step (S30) according to an embodiment of the present invention, Figure 20 is a moving path of the ceiling image-based mobile robot device 10 according to an embodiment of the present invention and A schematic diagram showing the prediction path based on the information from the encoder detector is shown. The position recognition step S30 includes a prediction step S31, a matching step S33, and an estimation step S35. The prediction step S31 is based on a signal of the encoder sensor 200 to predict the mobile robot apparatus. Predict location. Here, the predicted position represents a position predicted to have moved in the present time based on the signal from the encoder sensor 200 at the position at the previous time. In FIG. 20, the time from the initial position s0 is t = t1, t = During the passage to t2, the predicted positions of s1 and s2 predicted based on the information from the encoder sensing unit 100 may be inconsistent with the actual positions s1 'and s2' in some cases. On the other hand, the position of the feature obtained from the actual image obtained from the image input unit 100 is disposed on the uncertain region (see FIG. 21; see axes D1-D2 of FIG. 12), and whether or not the following features are matched in the predicted image This is done by determining whether the feature is placed on the area of uncertainty about the feature in the actual image. That is, the controller 300 may determine whether to match based on the predicted image calculated at the predicted position of the ceiling image-based mobile robot apparatus 10 and the respective features in the image from the image detector 100 ( S33) is performed. If it is determined in the matching step (S33) that the matching of each feature in the image from the prediction image and the image sensing unit 100 is not achieved, the controller 300 recognizes the unmatched feature as a new feature and stores it. Stored in the section 400. For example, the controller 300 compares a feature in a prediction image at a prediction position with a feature position in a real image. When the feature in the prediction image is not located within an uncertain region with respect to the feature in the real image. The controller 300 uses the information in the real image obtained from the image input unit 100 and the information from the encoder sensor to identify a feature in the real image as a new feature and stores the position of the new feature in the storage 400. do. On the other hand, if the feature in the predictive image is disposed in the uncertainty region of the feature in the real image, the controller 300 determines that both are matched and determines whether there is an error and the degree of reflecting it in the position recognition process through detailed comparison. To judge. That is, when it is determined that the two are matched, the controller 300 determines and calculates the position error correction degree based on whether there is an error of the feature through specific comparison of the features. The degree of coincidence may be achieved by comparing the brightness of pixels of the feature image in the real image and the feature image in the predicted image in the case of the corner feature, and the door feature and the illumination feature may be formed by comparing the shape of the feature.

정합 여부 및 일치 정도가 판단된 경우, 제어부(300)는 추정 단계(S35)를 수행하는데, 추정 단계(S35)에서 제어부(300)는 정합 여부 및 정합 정도(특징의 오차 여부에 의한 위치 오차 보정 정도)에 기초하여 천장 영상 기반 이동 로봇 장치(10)의 위치를 보정한다. If it is determined whether the match and the degree of matching is determined, the control unit 300 performs the estimation step (S35), in the estimation step (S35), the control unit 300 corrects the position error by matching or not and the degree of matching (feature error) Correct the position of the ceiling image-based mobile robot device 10 based on the degree.

상기 실시예들은 본 발명을 설명하기 위한 일예들로, 본 발명이 이에 국한되는 것은 아니다. 조명 특징은 선택적으로 고려되는 위치 인식 방법을 취할 수도 있는 등, 이동 로봇 장치의 위치 인식을 이루는 과정에서 도어 특징을 포함하는 특징을 추출하고 이를 사용하여 위치 인식을 이루는 범위에서 다양한 변형이 가능하다. The above embodiments are examples for describing the present invention, but the present invention is not limited thereto. The lighting feature may take a position recognition method that is considered to be optional, and in the process of achieving the position recognition of the mobile robot device, the feature including the door feature may be extracted and various modifications may be made in the range of the position recognition using the same.

도 1은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 개략적인 블록선도이다. 1 is a schematic block diagram of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법에 대한 개략적인 제어 흐름도이다. 2 is a schematic control flowchart of a method for recognizing a location of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 영상 입력 처리 단계에 대한 흐름도이다. 3 is a flowchart illustrating an image input processing step of a location recognition method of a ceiling image-based mobile robot apparatus according to an exemplary embodiment of the present invention.

도 4 및 도 5는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 영상 입력부에서 얻어진 영상 및 이의 왜곡 보정을 이룬 영상에 대한 개략적인 선도이다. 4 and 5 are schematic diagrams of an image obtained by the image input unit of the ceiling image-based mobile robot device according to an embodiment of the present invention and an image of which distortion is corrected.

도 6은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 특징 추출 단계에 대한 흐름도이다. 6 is a flowchart illustrating a feature extraction step of a location recognition method of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 7은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 특징 추출 단계에서 추출되는 특징들에 대한 개략적인 선도이다. 7 is a schematic diagram of the features extracted in the feature extraction step of the position recognition method of the ceiling image-based mobile robot device according to an embodiment of the present invention.

도 8은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 도어 특징 추출 단계에 대한 흐름도이다. 8 is a flowchart illustrating a door feature extraction step of a location recognition method of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 9는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 도어 특징 추출 단계에서 추출되는 도어 특징을 설명하기 위한 개략적인 선도이다. FIG. 9 is a schematic diagram for describing a door feature extracted in a door feature extraction step of a location recognition method of a ceiling image-based mobile robot apparatus according to an exemplary embodiment.

도 10은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 영상 입력부에서 얻은 영상에서의 도어 특징 또는 도어 후보에 대한 개략적인 선도이다. 10 is a schematic diagram of a door feature or door candidate in an image obtained from an image input unit of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 11은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 도어 추출 단계 중 도어 후보 샘플링 단계에 대한 개략적인 상태도이다. 11 is a schematic state diagram of a door candidate sampling step of the door extraction step of the position recognition method of the ceiling image-based mobile robot device according to an embodiment of the present invention.

도 12는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 시간 경과에 따라 위치 이동시 도어 후보 샘플에 대한 추정 영상 관계를 설명하기 위한 개략적인 상태도이다. FIG. 12 is a schematic state diagram illustrating an estimated image relationship with respect to a door candidate sample when a position is moved over time of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 13은 시간 t1에서 시간 t2로 시간 경과에 따른 천장 영상 기반 이동 로봇 장치의 위치 이동 시 수렴된 도어 후보 샘플에 대하여 지면에 수직하게 설정된 가상 평면에 대한 개략적인 사시도이다. FIG. 13 is a schematic perspective view of a virtual plane set perpendicular to the ground with respect to the door candidate samples converged when the position of the ceiling-based mobile robot apparatus moves from time t1 to time t2.

도 14는 전회 시간에서 영상 입력부에서 얻어진 가상 평면(Pv1)에 대한 영상을 나타내는 개략적인 선도이다. 14 is a schematic diagram illustrating an image of the virtual plane Pv1 obtained by the image input unit at the previous time.

도 15는 가상 평면 내 추정 영상과 현재 시간에서의 실제 영상이 일치하는 경우에 대한 영상을 나타내는 개략적인 선도이다. FIG. 15 is a schematic diagram illustrating an image of a case where an estimated image in a virtual plane and an actual image at a current time coincide.

도 16은 가상 평면 내 추정 영상과 현재 시간에서의 실제 영상이 불일치하는 경우에 대한 영상을 나타내는 개략적인 선도이다. FIG. 16 is a schematic diagram illustrating an image of a case where an estimated image in a virtual plane and an actual image at a current time do not match.

도 17은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 조명 특징 추출 단계에 대한 흐름도이다. 17 is a flowchart illustrating a lighting feature extraction step of a location recognition method of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 18은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 영상 입력부에서 얻은 영상에서 동일 밝기 화소를 연결하여 얻은 조명 특징을 나타내는 개략적인 선도이다. FIG. 18 is a schematic diagram illustrating an illumination feature obtained by connecting the same brightness pixels in an image obtained by an image input unit of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 19는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법의 위치 인식 단계에 대한 개략적인 흐름도이다.19 is a schematic flowchart of a location recognition step of a location recognition method of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 20은 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 실제 이동 경로 및 엔코더 감지부로부터의 정보에 기초한 예측 경로를 나타내는 개략적인 선도이다.20 is a schematic diagram illustrating a prediction path based on actual moving paths and information from an encoder sensor of a ceiling image-based mobile robot device according to an embodiment of the present invention.

도 21에는 본 발명의 일실시예에 따른 천장 영상 기반 이동 로봇 장치의 위치 인식 방법에서 사용되는 각각의 특징에 대한 불확실 영역을 나타내는 개략적인 선도이다. FIG. 21 is a schematic diagram illustrating an area of uncertainty for each feature used in a location recognition method of a ceiling image-based mobile robot apparatus according to an embodiment of the present invention.

*도면의 주요부분에 대한 부호의 설명* * Description of the symbols for the main parts of the drawings *

10...천장 영상 기반 이동 로봇 장치 100...영상 입력부10 ... Ceiling-based mobile robot device 100 ... Image input unit

200...엔코더 감지부 300...제어부200 encoder encoder 300 controller

400...저장부 500...연산부400 storage 500 operation

600...구동부600 ... Driver

Claims

Providing a ceiling image-based mobile robot device including an image input unit, an encoder detector, a calculator, a controller, a storage unit, and a driver;

An image input processing step of processing image information input through the image input unit;

A feature extraction step of extracting a feature including a door feature based on the image information;

Ceiling image-based mobile robot position recognition method comprising a position recognition step of recognizing the position of the mobile robot device using the extracted features.

The method of claim 1,

The feature extraction step is:

A corner feature extraction step of extracting a corner feature from the image information;

An outline extraction step of extracting an outline from the image information;

A linear feature extraction step of extracting a linear feature from the image information;

And a door feature extraction step of extracting a door feature of an open door from the image information.

The method of claim 2,

The feature extraction step is:

And an illumination feature extraction step of extracting an illumination feature for the illumination disposed on the ceiling from the image information.

The method of claim 2,

The door feature may include two vertical lines passing through the center of the image obtained by the image input unit and a horizontal line connecting the two vertical lines.

And the door feature extraction step comprises a door candidate extraction step of extracting a door candidate corresponding to the door feature.

The method of claim 4, wherein

And a door candidate sampling step of forming a predetermined number of door candidate samples having the same shape as the door candidate after extracting the door candidate.

The method of claim 5,

The door feature extraction step:

A virtual plane setting determination step of determining whether to set a virtual plane for the door candidate after extracting the door candidate;

A sampling estimation image generation step of generating an estimated image of the door candidate sample based on input signals of the image input unit and the encoder detection unit when the virtual plane is not set;

And a sample image comparing step of comparing the estimated image of the door candidate sample with a current image of the image input unit.

The method of claim 6,

And a resampling step of resetting a door candidate sample for the door candidate based on a result of the sample image comparing step after the comparing of the sample image is completed.

The method of claim 7, wherein

After the resampling step, the convergence degree of the door candidate sample is compared with a preset convergence value, and if it is determined that the door candidate sample has converged, setting a virtual plane for the door candidate to which the door candidate sample converges. Mobile robot position recognition method based on ceiling image.

The method of claim 8,

The door feature extraction step:

If it is determined that the virtual plane is set in the virtual plane setting step, generating an estimated image in the virtual plane generating an estimated image in the virtual plane for the virtual plane based on input signals of the image input unit and the encoder detection unit. Wow,

And a virtual plane image comparison step of comparing the estimated image in the virtual plane with the image in the door candidate among the current image of the image input unit.

The method of claim 9,

It is determined whether the estimated image in the virtual plane and the image in the door candidate among the current image match, and the door candidate sample converges when the estimated image in the virtual plane and the image in the door candidate among the current image are inconsistent with each other. And a door feature determining step of determining a candidate as a door feature.

The method of claim 2,

The feature extracting step may further include an illumination feature extraction step of extracting an illumination feature for the illumination disposed on the ceiling from the image information.

The lighting feature extraction step is:

A positioning step of checking a current position of the mobile robot device;

And a lighting feature determination step of checking whether a lighting feature exists in the image based on the image information of the image input unit.

The method of claim 11,

An image brightness detection step of detecting brightness of an image when there is no illumination feature in the image;

And an illumination shape storing step of storing a shape for an area in which an image brightness in an image is equal to a preset brightness maximum value.

The method of claim 1,

The location recognition step is:

A prediction step of predicting a prediction position of the mobile robot device based on a signal of the encoder detection unit;

A matching step of determining whether to match based on the predicted image calculated at the predicted position of the mobile robot apparatus and each feature in the image from the image sensor;

And a step of estimating the position of the mobile robot apparatus based on the matching information in the matching step.

The method of claim 13,

In the matching step, if it is determined that the image is not matched based on the predicted image calculated at the predicted position of the mobile robot device and each feature in the image from the image sensor, the feature in the image from the image sensor. The ceiling image-based mobile robot position recognition method, characterized in that for setting and storing with a new feature.

The method of claim 13,

The feature includes a door feature representing an open door and an illumination feature representing illumination of a ceiling,

The matching step is:

And comparing a shape of the door feature or the lighting feature.

In the mobile robot device to achieve the position movement by the drive unit,

A video input unit for acquiring video information of the ceiling;

A storage unit which stores image information of the image input unit;

An operation unit which generates a prediction image by calculating the image information stored in the storage unit;

And a controller configured to recognize a current position by performing a matching step of extracting a feature including a door feature based on a signal from the storage unit and comparing a predicted image from the calculator and an actual image from the image input unit. Ceiling image-based mobile robotic device.