KR101303161B1 - Mobile robot and controlling method of the same - Google Patents

Mobile robot and controlling method of the same Download PDF

Info

Publication number
KR101303161B1
KR101303161B1 KR1020110106658A KR20110106658A KR101303161B1 KR 101303161 B1 KR101303161 B1 KR 101303161B1 KR 1020110106658 A KR1020110106658 A KR 1020110106658A KR 20110106658 A KR20110106658 A KR 20110106658A KR 101303161 B1 KR101303161 B1 KR 101303161B1
Authority
KR
South Korea
Prior art keywords
feature
obstacle
extracting
unit
lines
Prior art date
Application number
KR1020110106658A
Other languages
Korean (ko)
Other versions
KR20130042389A (en
Inventor
이성수
백승민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110106658A priority Critical patent/KR101303161B1/en
Publication of KR20130042389A publication Critical patent/KR20130042389A/en
Application granted granted Critical
Publication of KR101303161B1 publication Critical patent/KR101303161B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Abstract

이동 로봇 및 이의 제어 방법이 개시된다. 본 발명의 실시 예들은 영상 정보와 장애물 정보를 이용하여 자신의 위치를 인식할 수 있다. 특히, 본 발명의 실시 예들은 주변의 조명 변화에 따라 영상 정보와 장애물 정보로부터 각각 추출한 특징선들을 이용하거나, 또는 영상 정보를 이용하여 생성한 장애물 지도와 장애물 정보로부터 추출한 특징선을 이용하여 자신의 위치를 정밀하게 인식할 수 있다. 또, 본 발명의 실시 예들은 영상 정보를 이용한 절대 위치 인식과 장애물 정보를 이용한 상대 위치 인식을 병행 수행함으로써 다양한 조명 환경에서 위치 인식의 오차를 줄이고, 절대 위치 인식의 성능을 개선하며, 운전 효율을 증대한다.A mobile robot and a control method thereof are disclosed. Embodiments of the present invention may recognize their location using image information and obstacle information. In particular, embodiments of the present invention use feature lines extracted from the image information and the obstacle information, respectively, according to the change in the illumination of the surroundings, or use a feature line extracted from the obstacle map and the obstacle information generated using the image information. The location can be recognized accurately. In addition, embodiments of the present invention by performing the absolute position recognition using the image information and the relative position recognition using the obstacle information in parallel to reduce the error of the position recognition in various lighting environments, improve the performance of the absolute position recognition, and improve the driving efficiency Increase.

Description

이동 로봇 및 이의 제어 방법{MOBILE ROBOT AND CONTROLLING METHOD OF THE SAME}MOBILE ROBOT AND CONTROLLING METHOD OF THE SAME}

본 발명은 다양한 조명 조건에서 정밀하게 위치를 인식할 수 있는 이동 로봇 및 이의 제어 방법에 관한 것이다.The present invention relates to a mobile robot and a control method thereof capable of precisely recognizing a position in various lighting conditions.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.In general, robots have been developed for industrial use and have been a part of factory automation. In recent years, medical robots, aerospace robots, and the like have been developed, and household robots that can be used in ordinary homes are being developed.

상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.A representative example of the domestic robot is a robot cleaner, which is a kind of electronic equipment that sucks dust and foreign matter around while driving a certain area by itself. Such a robot cleaner is generally equipped with a rechargeable battery and has an obstacle sensor capable of avoiding obstacles during traveling, so that it can run and clean by itself.

근래에는 이동 로봇, 특히 로봇 청소기를 이용한 응용 기술이 개발되고 있다. 예를 들어, 네트워킹 기능을 가진 이동 로봇의 개발이 진행되어, 원격지에서 청소 명령을 내릴 수 있도록 하거나 집안 상황을 모니터링할 수 있도록 하는 기능이 구현되고 있다. 또, 카메라나 각종 센서들을 이용하여 자기 위치인식 및 지도작성 기능을 가진 이동 로봇들이 개발되고 있다.Recently, application technologies using mobile robots, especially robot cleaners, have been developed. For example, the development of a mobile robot with a networking function is progressing, so that a function of allowing a cleaning command from a remote location or monitoring a house situation is being implemented. In addition, mobile robots having magnetic location recognition and mapping functions have been developed using cameras or various sensors.

본 발명의 실시 예들은 영상 정보와 장애물 정보를 이용하여 자신의 위치를 인식하는 이동 로봇 및 이의 제어 방법을 제공함에 일 목적이 있다.An embodiment of the present invention is to provide a mobile robot and its control method for recognizing its position using the image information and obstacle information.

본 발명의 실시 예들은 영상 정보와 장애물 정보로부터 각각 특징선들을 추출하고 정합하여 자신의 위치를 정확하게 인식할 수 있는 이동 로봇 및 이의 제어 방법을 제공함에 다른 목적이 있다.Another embodiment of the present invention is to provide a mobile robot and a control method thereof capable of accurately recognizing its position by extracting and matching feature lines from image information and obstacle information, respectively.

본 발명의 실시 예들은 영상 정보를 이용하여 생성한 장애물 지도와 장애물 정보로부터 추출한 특징선을 이용하여 조명이 변하는 환경에서도 자신의 위치를 정밀하게 인식할 수 있는 이동 로봇 및 이의 제어 방법을 제공함에 또 다른 목적이 있다.Embodiments of the present invention provide a mobile robot and a control method thereof capable of precisely recognizing its position even in an environment where lighting changes using an obstacle map generated using image information and a feature line extracted from obstacle information. There is another purpose.

일 실시 예에 따른 이동 로봇은, 주변으로부터 획득한 영상 정보로부터 특징점들을 추출하고, 상기 특징점들을 이용하여 제1 특징선들을 추출하는 제1 특징선 추출부와, 상기 주변의 장애물에 대한 장애물 정보를 이용하여 하나 이상의 제2 특징선을 추출하는 제2 특징선 추출부와, 상기 제1 특징선들과 상기 제2 특징선을 정합하고, 정합 결과를 근거로 위치를 인식하는 위치 인식부를 포함하여 구성된다.The mobile robot according to an embodiment may include extracting feature points from image information acquired from a surrounding, and extracting first feature lines using the feature points, and obstacle information about obstacles around the surroundings. And a second feature line extracting unit for extracting one or more second feature lines, and a position recognition unit for matching the first feature lines with the second feature line and recognizing a position based on the matching result. .

다른 실시 예에 따른 이동 로봇은, 주변을 촬영하여 영상 정보를 검출하는 영상 검출 유닛과, 하나 이상의 센서를 구비하고, 상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 장애물 감지 유닛과, 상기 영상 정보로부터 복수의 제1 특징선들을 추출하고, 상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하며, 상기 제1 특징선들과 상기 제2 특징선을 정합하여 위치를 인식하는 제어 유닛을 포함하여 구성된다.According to another embodiment of the present invention, a mobile robot includes an image detecting unit detecting image information by capturing a surrounding, an obstacle detecting unit configured to detect obstacles in the surrounding area, and output obstacle information by detecting the surrounding obstacle, and the image information. And a control unit extracting a plurality of first feature lines from the first feature line, extracting one or more second feature lines from the obstacle information, and matching the first feature lines with the second feature line to recognize a position. .

일 실시 예에 따른 이동 로봇의 제어 방법은, 주변을 촬영하여 영상 정보를 검출하는 단계와, 상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 단계와, 상기 영상 정보로부터 복수의 제1 특징선들을 추출하는 단계와, 상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하는 단계와, 상기 제1 특징선들과 상기 제2 특징선을 정합하는 단계와, 상기 정합 결과를 이용하여 이동 로봇의 위치를 인식하는 단계를 포함하여 구성된다.According to an embodiment of the present disclosure, a method of controlling a mobile robot may include detecting image information by photographing a surrounding, outputting obstacle information by detecting an obstacle around the surrounding, and generating a plurality of first feature lines from the image information. Extracting, extracting one or more second feature lines from the obstacle information, matching the first feature lines with the second feature line, and recognizing the position of the mobile robot using the matching result. It is configured to include.

본 발명의 실시 예들은 영상 정보와 장애물 정보를 이용하여 자신의 위치를 인식할 수 있다. 특히, 본 발명의 실시 예들은 주변의 조명 변화에 따라 영상 정보와 장애물 정보로부터 각각 추출한 특징선들을 이용하거나, 또는 영상 정보를 이용하여 생성한 장애물 지도와 장애물 정보로부터 추출한 특징선을 이용하여 자신의 위치를 정밀하게 인식할 수 있다.Embodiments of the present invention may recognize their location using image information and obstacle information. In particular, embodiments of the present invention use feature lines extracted from the image information and the obstacle information, respectively, according to the change in the illumination of the surroundings, or use a feature line extracted from the obstacle map and the obstacle information generated using the image information. The location can be recognized accurately.

본 발명의 실시 예들은 영상 정보를 이용한 절대 위치 인식과 장애물 정보를 이용한 상대 위치 인식을 병행 수행함으로써 다양한 조명 환경에서 위치 인식의 오차를 줄이고, 절대 위치 인식의 성능을 개선하며, 운전 효율을 증대한다.Embodiments of the present invention reduce the error of position recognition in various lighting environments, improve the performance of absolute position recognition, and increase driving efficiency by performing absolute position recognition using image information and relative position recognition using obstacle information in parallel. .

본 발명의 실시 예들은 정밀하게 위치를 이동하거나 누락 없이 청소를 수행함으로써 사용자의 편의성 및 시스템의 안전성을 제고한다.Embodiments of the present invention improve the user's convenience and the safety of the system by precisely moving the position or without cleaning.

도 1은 일 실시 예에 따른 이동 로봇의 구성을 개략적으로 보인 블록도;
도 2 및 도 3은 다른 실시 예들에 따른 이동 로봇의 구성을 개략적으로 보인 블록도;
도 4a 및 도 4b는 본 발명의 실시 예들에 따라 영상 정보로부터 각각 특징점 및 특징선을 추출하는 동작을 설명하기 위한 도들;
도 5a 내지 도 5d는 본 발명의 실시 예들에 따라 영상 정보 및 장애물 정보로부터 각각 추출한 특징선들을 정합하는 동작을 설명하기 위한 도들;
도 6은 일 실시 예에 따른 로봇 청소기를 보인 사시도;
도 7은 일 실시 예에 따른 로봇 청소기를 보인 정면도; 및
도 8 내지 도 10은 실시 예들에 따른 이동 로봇의 제어 방법을 개략적으로 보인 흐름도들이다.
1 is a block diagram schematically showing the configuration of a mobile robot according to one embodiment;
2 and 3 are block diagrams schematically showing the configuration of a mobile robot according to other embodiments;
4A and 4B are diagrams for describing an operation of extracting feature points and feature lines from image information, respectively, according to embodiments of the present disclosure;
5A to 5D are diagrams for describing an operation of matching feature lines extracted from image information and obstacle information, respectively, according to embodiments of the present disclosure;
6 is a perspective view of a robot cleaner according to an embodiment;
7 is a front view of the robot cleaner according to one embodiment; And
8 to 10 are flowcharts schematically illustrating a control method of a mobile robot according to embodiments.

도 1을 참조하면, 일 실시 예에 따른 이동 로봇은, 제1 특징선 추출부(10)와, 제2 특징선 추출부(20)와, 위치 인식부(40)를 포함하여 구성된다. 제1 특징선 추출부(10)는, 주변으로부터 획득한 영상 정보로부터 특징점들을 추출하고, 상기 특징점들을 이용하여 제1 특징선들을 추출한다. 제2 특징선 추출부(20)는 상기 주변의 장애물에 대한 장애물 정보를 이용하여 하나 이상의 제2 특징선을 추출한다. 위치 인식부(40)는 상기 제1 특징선들과 상기 제2 특징선을 정합하고, 정합 결과를 근거로 위치를 인식한다.Referring to FIG. 1, a mobile robot according to an exemplary embodiment includes a first feature line extractor 10, a second feature line extractor 20, and a position recognizer 40. The first feature line extractor 10 extracts feature points from image information acquired from the surroundings, and extracts first feature lines using the feature points. The second feature line extractor 20 extracts one or more second feature lines by using obstacle information on the surrounding obstacles. The position recognizing unit 40 matches the first feature lines with the second feature line, and recognizes a location based on the matching result.

상기 이동 로봇은, 상기 제1 특징선들을 이용하여 장애물 지도를 생성하는 지도 생성부(30)를 더 포함하여 구성된다. 여기서, 위치 인식부(40)는, 조도 정보에 따라 위치 인식을 달리한다. 즉, 위치 인식부(40)는, 주변의 조도가 일정 조도 이하이면, 지도 생성부(30)가 생성한 장애물 지도 내의 제1 특징선들과 제2 특징선 추출부(20)가 추출한 제2 특징선을 정합하여 위치를 인식한다. 반면, 위치 인식부(40)는, 주변의 조도가 일정 조도보다 크면, 영상 정보와 장애물 정보로부터 추출한 제1, 제2 특징선을 정합하여 위치를 인식한다.The mobile robot further includes a map generator 30 that generates an obstacle map using the first feature lines. Here, the position recognizing unit 40 varies the position recognition according to the illuminance information. That is, the location recognition unit 40, when the surrounding illumination is less than a predetermined illumination, the second feature extracted by the first feature lines and the second feature line extracting unit 20 in the obstacle map generated by the map generator 30. Match the lines to recognize the location. On the other hand, if the peripheral illuminance is greater than the predetermined illuminance, the position recognizing unit 40 matches the first and second feature lines extracted from the image information and the obstacle information to recognize the position.

도 4는 영상 정보로부터 제1 특징선을 추출하는 동작을 설명한다. 도 4a를 참조하면, 이동 로봇은 영상 정보를 소정 영상 처리하여 복수의 특징점들을 추출한다. 그런 다음, 이동 로봇은 연속 촬영한 둘 이상의 영상 정보를 근거로 복수의 특징점들을 정합한다. 복수의 특징점들은 3차원의 좌표로 표현될 수 있다. 도 4b를 참조하면, 이동 로봇은 3차원 좌표로 표현된 특징점들과 영상 정보로부터 추출한 선 성분들을 이용하여 제1 특징선들을 추출한다. 영상 정보로부터 제1 특징선들을 추출하는 방식은 영상 처리 기법에 따라 다양하므로, 영상 처리 기법에 대한 자세한 설명은 생략한다. 지도 생성부(30)는 제1 특징선들을 이용하여 전체 영역에 대한 장애물 지도를 생성할 수 있다. 즉, 제1 특징선들은 절대 위치를 가리키는 지표가 된다.4 illustrates an operation of extracting a first feature line from image information. Referring to FIG. 4A, the mobile robot extracts a plurality of feature points by processing image information on a predetermined image. Then, the mobile robot matches a plurality of feature points based on two or more pieces of image information taken continuously. The plurality of feature points may be represented by three-dimensional coordinates. Referring to FIG. 4B, the mobile robot extracts first feature lines using feature points expressed in 3D coordinates and line components extracted from image information. Since the method of extracting the first feature lines from the image information varies according to an image processing technique, a detailed description of the image processing technique will be omitted. The map generator 30 may generate an obstacle map of the entire area by using the first feature lines. That is, the first feature lines are indicative of absolute position.

도 5a를 참조하면, 지도 생성부(30)는 제1 특징선들을 이용하여 장애물 지도를 생성할 수 있다. 즉, 이동 로봇은 3차원의 특징점들을 이용하여 영상 정보로부터 추출한 선 성분들을 장애물 지도로 표현할 수 있다.Referring to FIG. 5A, the map generator 30 may generate an obstacle map by using the first feature lines. That is, the mobile robot may express line components extracted from the image information using obstacle maps using three-dimensional feature points.

도 5b 내지 도 5c를 참조하면, 이동 로봇은 주변의 장애물을 감지하여 장애물 정보를 생성하고 장애물 정보를 이용하여 제2 특징선을 추출한다. 장애물 정보는 장애물 감지 위치(또는 장애물 감지 시의 이동 로봇의 위치), 장애물 감지 주기(시간 간격) 등을 포함한다. 장애물 감지 위치는 도 5b와 같이 표시될 수 있고, 이를 연결하면 제2 특징선을 추출할 수 있다. 제2 특징선은 국부적인 장애물의 선 성분이다.5B to 5C, the mobile robot generates obstacle information by detecting an obstacle around it and extracts a second feature line using the obstacle information. The obstacle information includes an obstacle detection position (or a position of the mobile robot at the time of obstacle detection), an obstacle detection period (time interval), and the like. The obstacle detection position may be displayed as shown in FIG. 5B, and when connected thereto, the second feature line may be extracted. The second feature line is the line component of the local obstacle.

도 5d를 참조하면, 위치 인식부(40)는 제1 특징선과 제2 특징선을 정합하고 정합 결과를 이용하여 위치를 인식한다. 즉, 위치 인식부(40)는 절대 위치를 갖는 제1 특징선에 제2 특징선을 정합하여 위치를 인식한다. 여기서, 조명의 변화가 심하거나 조도가 일정 조도이한 경우, 위치 인식부(40)는 장애물 지도 내의 제1 특징선들에 제2 특징선을 정합하고 그 정합 결과를 이용할 수 있다.Referring to FIG. 5D, the position recognizing unit 40 matches the first feature line with the second feature line and recognizes the position using the matching result. That is, the position recognizing unit 40 recognizes the position by matching the second feature line with the first feature line having the absolute position. Here, when the lighting is severely changed or the illuminance is a certain illuminance, the location recognition unit 40 may match the second feature line with the first feature lines in the obstacle map and use the matching result.

도 2를 참조하면, 다른 실시 예에 따른 이동 로봇은, 주변을 촬영하여 영상 정보를 검출하는 영상 검출 유닛(100)과, 하나 이상의 센서를 구비하고, 상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 장애물 감지 유닛(200)과, 제어 유닛(300)을 포함하여 구성된다. 제어 유닛(300)은, 상기 영상 정보로부터 복수의 제1 특징선들을 추출하고, 상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하며, 상기 제1 특징선들과 상기 제2 특징선을 정합하여 위치를 인식한다.Referring to FIG. 2, a mobile robot according to another embodiment includes an image detecting unit 100 which photographs a surrounding and detects image information, and one or more sensors, and detects the surrounding obstacle to output obstacle information. The obstacle detection unit 200 and the control unit 300 is configured to include. The control unit 300 extracts a plurality of first feature lines from the image information, extracts one or more second feature lines from the obstacle information, and matches the first feature lines with the second feature lines. Recognize.

영상 검출 유닛(100)은 주변을 촬영하여 영상 정보를 검출한다. 영상 검출 유닛(100)은, 도 6에 도시한 바와 같이, 상방이나 전방을 향하도록 설치되고, 카메라를 구비하여, 이동 로봇의 주변을 촬영하여 영상 정보를 검출한다. 도 6 및 도 7은 이동 로봇의 일 예인 로봇 청소기의 사시도 및 정면도이다. 영상 검출 유닛(100)이 복수의 카메라들을 구비하는 경우, 카메라들은 일정 거리 또는 일정 각도로 이동 로봇의 상부나 옆면에 형성될 수 있다. 영상 검출 유닛(100)은, 카메라에 연결되어 피사체의 초점을 맞추는 렌즈를 포함할 수 있다. 상기 렌즈는 소정의 위치에서도 주변의 모든 영역, 예를 들어 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈를 사용한다.The image detection unit 100 detects image information by photographing a surrounding. As illustrated in FIG. 6, the image detection unit 100 is provided to face upwards or forwards, and includes a camera to capture the surroundings of the mobile robot to detect image information. 6 and 7 are a perspective view and a front view of a robot cleaner which is an example of a mobile robot. When the image detection unit 100 includes a plurality of cameras, the cameras may be formed on the top or side surfaces of the mobile robot at a predetermined distance or at an angle. The image detection unit 100 may include a lens connected to the camera to focus the subject. The lens uses a lens having a wide angle of view so that all the surrounding areas, for example, all areas of the ceiling can be photographed even at a predetermined position.

도 3을 참조하면, 제어 유닛(300)은, 특징점 추출부(311)와, 좌표 산출부(312)와, 제1 특징선 추출부(310)를 포함하여 구성된다. 특징점 추출부(311)는 두 영상 정보로부터 복수의 점들을 추출하고, 상기 두 영상 정보 사이의 점들을 정합하여 복수의 특징점들을 추출한다. 좌표 산출부(312)는 상기 복수의 특징점들에 대한 3차원 좌표를 산출한다. 제1 특징선 추출부(310)는 상기 영상 정보로부터 상기 복수의 제1 특징선들을 추출한다.Referring to FIG. 3, the control unit 300 includes a feature point extractor 311, a coordinate calculator 312, and a first feature line extractor 310. The feature point extractor 311 extracts a plurality of points from the two image information, and matches the points between the two image information to extract the plurality of feature points. The coordinate calculator 312 calculates three-dimensional coordinates of the plurality of feature points. The first feature line extracting unit 310 extracts the plurality of first feature lines from the image information.

도 4는 영상 정보로부터 제1 특징선을 추출하는 동작을 설명한다. 도 4a를 참조하면, 특징점 추출부(311)은 영상 정보를 소정 영상 처리하여 복수의 특징점들을 추출한다. 그런 다음, 제어 유닛(300)은 연속 촬영한 둘 이상의 영상 정보를 근거로 복수의 특징점들을 정합한다. 복수의 특징점들은 3차원의 좌표로 표현될 수 있다. 도 4b를 참조하면, 제1 특징선 추출부(310)는 3차원 좌표로 표현된 특징점들과 영상 정보로부터 추출한 선 성분들을 이용하여 제1 특징선들을 추출한다. 영상 정보로부터 제1 특징선들을 추출하는 방식은 영상 처리 기법에 따라 다양하므로, 영상 처리 기법에 대한 자세한 설명은 생략한다. 제1 특징선들은 절대 위치를 가리키는 지표가 된다.4 illustrates an operation of extracting a first feature line from image information. Referring to FIG. 4A, the feature point extractor 311 extracts a plurality of feature points by processing image information. Then, the control unit 300 matches a plurality of feature points based on two or more pieces of image information taken continuously. The plurality of feature points may be represented by three-dimensional coordinates. Referring to FIG. 4B, the first feature line extracting unit 310 extracts the first feature lines by using feature points expressed in 3D coordinates and line components extracted from image information. Since the method of extracting the first feature lines from the image information varies according to an image processing technique, a detailed description of the image processing technique will be omitted. The first feature lines are indicative of absolute position.

도 6 및 도 7을 참조하면, 장애물 감지 유닛(200)은 이동 로봇의 전방, 즉 외주면에 일정 간격으로 설치되는 제1 센서(210)를 포함한다. 또, 장애물 감지 유닛(200)은 본체의 외측으로 돌출되는 면을 갖도록 설치되는 제2 센서(220)를 포함할 수 있다. 제1 센서와 제2 센서의 위치와 종류는 이동 로봇의 기종에 따라 달라질 수 있고, 장애물 감지 유닛은 더 다양한 센서를 포함할 수 있다. 제1 센서(210)는 이동 로봇의 이동 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어 유닛(300)에 전달한다. 즉, 제1 센서는, 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달한다. 제1 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서 등일 수 있다. 제2 센서(220)는 전방이나 측면에 존재하는 장애물을 감지하여 장애물 정보를 제어 유닛에 전달한다. 즉, 제2 센서는 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달한다. 제2 센서는 적외선 센서, 초음파 센서, RF 센서, PSD(Position Sensitive Device) 센서 등일 수 있다.6 and 7, the obstacle detecting unit 200 includes a first sensor 210 installed at a predetermined interval on the front of the mobile robot, that is, on an outer circumferential surface thereof. In addition, the obstacle detecting unit 200 may include a second sensor 220 installed to have a surface protruding to the outside of the main body. The location and type of the first sensor and the second sensor may vary according to the type of the mobile robot, and the obstacle detecting unit may include more various sensors. The first sensor 210 detects an object in the moving direction of the mobile robot, in particular an obstacle, and transmits the obstacle information to the control unit 300. That is, the first sensor detects protrusions, household appliances, furniture, walls, wall edges, etc. existing on the movement path of the mobile robot and transmits the information to the control unit. The first sensor may be an infrared sensor, an ultrasonic sensor, a RF sensor, a geomagnetic sensor, or the like. The second sensor 220 detects an obstacle present in the front or side and transmits the obstacle information to the control unit. That is, the second sensor detects protrusions, household appliances, furniture, walls, wall edges, etc. existing on the movement path of the mobile robot and transmits the information to the control unit. The second sensor may be an infrared sensor, an ultrasonic sensor, an RF sensor, a position sensitive device (PSD) sensor, or the like.

장애물 감지 유닛(200)은 본체의 하면(저면)에 설치되고, 바닥면의 장애물, 예를 들어 낭떠러지를 감지하는 낭떠러지 센서를 더 포함할 수 있다. 낭떠러지 센서는 바닥면의 반사율, 색의 차이에 상관없이 안정적인 측정값을 얻을 수 있도록 구성되고, PSD 센서와 같이 적외선 모듈의 형태일 수 있다.The obstacle detecting unit 200 may be installed on a bottom surface (bottom surface) of the main body, and may further include a cliff sensor for detecting an obstacle on the bottom surface, for example, a cliff. The cliff sensor is configured to obtain a stable measurement value regardless of the reflectance and color difference of the bottom surface, and may be in the form of an infrared module such as a PSD sensor.

제어 유닛(300)은, 상기 제1 특징선들을 이용하여 장애물 지도를 생성할 수 있다. 도 3을 참조하면, 제어 유닛(300)은, 상기 3차원 좌표를 갖는 복수의 특징점들을 이용하여 상기 제1 특징선들을 상기 장애물 지도로 표현하는 지도 생성부(330)를 더 포함할 수 있다. 또, 제어 유닛(300)은, 상기 장애물 정보로부터 상기 하나 이상의 제2 특징선을 추출하는 제2 특징선 추출부(320)를 더 포함할 수 있다.The control unit 300 may generate an obstacle map using the first feature lines. Referring to FIG. 3, the control unit 300 may further include a map generator 330 that expresses the first feature lines as the obstacle map using a plurality of feature points having the three-dimensional coordinates. In addition, the control unit 300 may further include a second feature line extracting unit 320 for extracting the at least one second feature line from the obstacle information.

도 5a를 참조하면, 지도 생성부(330)는 제1 특징선들을 이용하여 장애물 지도를 생성할 수 있다. 즉, 지도 생성부(330)는 3차원의 특징점들을 이용하여 영상 정보로부터 추출한 선 성분들을 장애물 지도로 표현할 수 있다.Referring to FIG. 5A, the map generator 330 may generate an obstacle map by using the first feature lines. That is, the map generator 330 may express the line components extracted from the image information as obstacle maps using three-dimensional feature points.

도 5b 내지 도 5c를 참조하면, 제2 특징선 추출부(320)는 주변의 장애물을 감지하여 장애물 정보를 생성하고 장애물 정보를 이용하여 제2 특징선을 추출한다. 장애물 정보는 장애물 감지 위치(또는 장애물 감지 시의 이동 로봇의 위치), 장애물 감지 주기(시간 간격) 등을 포함한다. 장애물 감지 위치는 도 5b와 같이 표시될 수 있고, 이를 연결하면 제2 특징선을 추출할 수 있다. 제2 특징선은 국부적인 장애물의 선 성분이다.5B to 5C, the second feature line extractor 320 generates obstacle information by detecting an obstacle around it and extracts the second feature line using the obstacle information. The obstacle information includes an obstacle detection position (or a position of the mobile robot at the time of obstacle detection), an obstacle detection period (time interval), and the like. The obstacle detection position may be displayed as shown in FIG. 5B, and when connected thereto, the second feature line may be extracted. The second feature line is the line component of the local obstacle.

도 5d를 참조하면, 위치 인식부(340)는 제1 특징선과 제2 특징선을 정합하고 정합 결과를 이용하여 위치를 인식한다. 즉, 위치 인식부(340)는 절대 위치를 갖는 제1 특징선에 제2 특징선을 정합하여 위치를 인식한다. 여기서, 조명의 변화가 심하거나 조도가 일정 조도이한 경우, 위치 인식부(340)는 장애물 지도 내의 제1 특징선들에 제2 특징선을 정합하고 그 정합 결과를 이용할 수 있다.Referring to FIG. 5D, the location recognizing unit 340 matches the first feature line with the second feature line and recognizes the location using the matching result. That is, the position recognition unit 340 recognizes the position by matching the second feature line with the first feature line having the absolute position. Here, when the lighting is severely changed or the illuminance is a certain illuminance, the location recognition unit 340 may match the second feature line with the first feature lines in the obstacle map and use the matching result.

도 2를 다시 참조하면, 상기 이동 로봇은, 상기 제1 특징선들, 상기 하나 이상의 제2 특징선, 및 상기 장애물 지도를 저장하는 저장 유닛(400)을 더 포함하여 구성된다. 저장 유닛(400)은 제1 특징선들, 제2 특징선 외에 영상 정보, 장애물 정보, 영역, 경로 중 하나 이상의 정보를 더 저장할 수 있다. 저장 유닛(400)은 이동 로봇을 제어(구동)하는 제어 프로그램 및 그에 따른 데이터를 저장한다. 또, 저장 유닛(400)은, 로봇 청소기의 경우에 청소 방식, 주행 방식, 청소 패턴, 청소 영역 등을 더 저장할 수 있다. 저장 유닛(400)으로는 롬(ROM), 플래시 메모리(Flash Memory) 등의 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)를 사용하는 것이 좋다.Referring back to FIG. 2, the mobile robot further includes a storage unit 400 that stores the first feature lines, the one or more second feature lines, and the obstacle map. The storage unit 400 may further store at least one of image information, obstacle information, an area, and a path in addition to the first and second feature lines. The storage unit 400 stores a control program for controlling (driving) a mobile robot and data accordingly. In the case of the robot cleaner, the storage unit 400 may further store a cleaning method, a traveling method, a cleaning pattern, a cleaning area, and the like. As the storage unit 400, non-volatile memories (Non-Volatile Memory, NVM, NVRAM) such as a ROM and a flash memory may be used.

도 2를 다시 참조하면, 상기 이동 로봇은, 상기 주변의 조도를 감지하는 조도 감지 유닛(500)을 더 포함하여 구성된다. 조도 감지 유닛(500)은 이동 로봇이 위치하는 곳, 즉 영상 검출 유닛(100)이 촬영하고자 하는 영역에 대한 조도를 감지한다. 조도 감지 유닛(500)은, 예를 들어, 포토 센서, 포토 트랜지스터(Photo Transistor) 등을 이용하여 광을 감지할 수 있다. 여기서, 제어 유닛(300)은, 조도 감지 유닛(500)이 감지한 조도가 일정 조도보다 크면, 영상 정보와 장애물 정보로부터 각각 추출한 제1 특징선들과 제2 특징선의 정합 결과를 이용하고, 조도 감지 유닛(500)이 감지한 조도가 일정 조도 이하이면, 장애물 지도 내의 제1 특징선들과 추출한 제2 특징선의 정합 결과를 이용하여 위치를 인식한다.Referring back to FIG. 2, the mobile robot further includes an illuminance detecting unit 500 that detects the illuminance of the surroundings. The illuminance detecting unit 500 detects illuminance of a location where the mobile robot is located, that is, an area to be imaged by the image detecting unit 100. The illuminance detection unit 500 may sense light using, for example, a photo sensor, a photo transistor, or the like. Here, when the illuminance detected by the illuminance detecting unit 500 is greater than a predetermined illuminance, the control unit 300 uses the matching result of the first feature lines and the second feature lines extracted from the image information and the obstacle information, respectively, and detects the illuminance. When the illuminance sensed by the unit 500 is equal to or less than a predetermined illuminance, the position is recognized using the matching result of the first feature lines and the extracted second feature line in the obstacle map.

도 3을 참조하면, 이동 로봇은 구동 유닛(600)과, 입력 유닛(700)과, 출력 유닛(800)을 더 포함할 수 있다.Referring to FIG. 3, the mobile robot may further include a driving unit 600, an input unit 700, and an output unit 800.

이동 로봇은 하부 양측에 이동 가능하도록 하는 좌, 우측 주바퀴를 구비한다. 주 바퀴의 양측면에는 사용자의 파지가 용이하도록 손잡이가 설치될 수 있다. 구동 유닛(600)은 좌, 우측 주 바퀴(610)와 연결되고, 상기 바퀴들을 회전시키는 소정의 휠 모터(Wheel Motor)를 구비하여, 휠 모터를 구동함으로써 본체를 이동시킨다. 휠 모터는 각각 주 바퀴에 연결되어 주 바퀴가 회전하도록 하고, 휠 모터는 서로 독립적으로 작동하며 양방향으로 회전이 가능하다. 또, 이동 로봇은 배면에 하나 이상의 보조 바퀴를 구비하여 본체를 지지하고, 본체의 하면과 바닥면 사이의 마찰을 최소화하고 이동 로봇의 이동이 원활하도록 한다.The mobile robot has left and right main wheels which are movable on both lower sides thereof. Handles may be installed on both sides of the main wheel to facilitate gripping by the user. The driving unit 600 is connected to the left and right main wheels 610 and includes a predetermined wheel motor for rotating the wheels to move the main body by driving the wheel motor. Each wheel motor is connected to the main wheels so that the main wheels rotate, and the wheel motors operate independently of each other and can rotate in both directions. In addition, the mobile robot is provided with one or more auxiliary wheels on the back to support the main body, to minimize the friction between the lower surface and the bottom surface of the main body and to facilitate the movement of the mobile robot.

이동 로봇은 본체의 구동에 따른 이동 로봇의 동작을 감지하고 동작 정보를 출력하는 동작 감지 유닛(미도시)을 더 포함할 수 있다. 동작 감지 유닛으로는, 자이로 센서, 휠 센서, 가속도 센서 등을 사용한다.The mobile robot may further include a motion detection unit (not shown) that detects a motion of the mobile robot according to the driving of the main body and outputs motion information. As a motion detection unit, a gyro sensor, a wheel sensor, an acceleration sensor, etc. are used.

자이로 센서(Gyro Sensor)는, 이동 로봇이 운전 모드에 따라 움직일 때 회전 방향을 감지하고 회전각을 검출한다. 자이로 센서는, 이동 로봇의 각속도를 검출하여 각속도에 비례하는 전압 값을 출력한다. 제어 유닛(300)은, 자이로 센서로부터 출력되는 전압 값을 이용하여 회전 방향 및 회전각을 산출한다.The gyro sensor detects the rotation direction and detects the rotation angle when the mobile robot moves according to the driving mode. The gyro sensor detects the angular velocity of the mobile robot and outputs a voltage value proportional to the angular velocity. The control unit 300 calculates the rotation direction and the rotation angle using the voltage value output from the gyro sensor.

휠 센서(Wheel Sensor)는, 좌, 우측의 주 바퀴(610)에 연결되어 주 바퀴의 회전수를 감지한다. 여기서, 휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. 로터리 엔코더는 좌측과 우측의 주 바퀴의 회전수를 감지하여 출력한다. 제어 유닛(300)은 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있다. 또, 제어 유닛(300)은, 좌, 우측 바퀴의 회전수 차이를 이용하여 회전각을 연산할 수 있다.The wheel sensor is connected to the main wheels 610 on the left and the right to detect the rotation speed of the main wheels. Here, the wheel sensor may be a rotary encoder. The rotary encoder detects and outputs the number of revolutions of the main wheels on the left and right. The control unit 300 may calculate the rotation speed of the left and right wheels by using the rotation speed. In addition, the control unit 300 can calculate the rotation angle using the difference in the rotation speed of the left and right wheels.

가속도 센서(Acceleration Sensor)는, 이동 로봇의 속도 변화, 예를 들어, 출발, 정지, 방향 전환, 물체와의 충돌 등에 따른 이동 속도의 변화를 감지한다. 가속도 센서는 주 바퀴나 보조바퀴의 인접 위치에 부착되어, 바퀴의 미끄러짐이나 공회전을 검출할 수 있다. 또, 가속도 센서는 제어 유닛(300)에 내장되어 이동 로봇의 속도 변화를 감지할 수 있다. 즉, 가속도 센서는 속도 변화에 따른 충격량을 검출하여 이에 대응하는 전압 값을 출력한다. 따라서, 가속도 센서는 전자식 범퍼의 기능을 수행할 수 있다.An acceleration sensor detects a change in the moving speed due to a speed change of the mobile robot, for example, start, stop, change of direction, collision with an object, and the like. The acceleration sensor is attached to the adjacent position of the main wheel or the auxiliary wheel, and can detect slippage or idle of the wheel. In addition, the acceleration sensor may be embedded in the control unit 300 to detect a speed change of the mobile robot. That is, the acceleration sensor detects the impact amount according to the speed change and outputs a voltage value corresponding thereto. Thus, the acceleration sensor can perform the function of an electronic bumper.

제어 유닛(300)은 동작 감지 유닛으로부터 출력된 동작 정보를 근거로 이동 로봇의 위치 변화를 산출할 수 있다. 이러한 위치는 영상 정보를 이용한 절대 위치에 대응하여 상대 위치가 된다. 이동 로봇은 이러한 상대 위치 인식을 통해 영상 정보와 장애물 정보를 이용한 위치 인식의 성능을 향상시킬 수 있다.The control unit 300 may calculate a change in position of the mobile robot based on the motion information output from the motion detection unit. This position becomes a relative position corresponding to the absolute position using the image information. The mobile robot can improve the performance of the position recognition using the image information and the obstacle information through the relative position recognition.

도 6을 참조하면, 이동 로봇은 직접 제어 명령을 입력받는 입력 유닛(700)을 더 포함하여 구성된다. 또, 사용자 등은 입력 유닛을 통해 저장 유닛에 저장된 정보들 중 하나 이상의 정보를 출력하도록 하는 명령을 입력할 수 있다. 입력 유닛(700)은 하나 이상의 버튼으로 형성될 수 있다. 예를 들어, 로봇 청소기의 경우에, 입력 유닛(700)은 청소 모드를 설정하거나 변경하는 버튼을 구비할 수 있다. 또, 입력 유닛(700)은 충전 스테이션으로 복귀하도록 하는 명령을 입력받는 버튼을 더 구비할 수 있다. 입력 유닛(700)은, 도 6에 도시한 바와 같이, 하드 키나 소프트 키, 터치패드 등으로 이동 로봇의 상부에 설치될 수 있다. 또, 입력 유닛(700)은 출력 유닛과 함께 터치 스크린의 형태를 가질 수 있다.Referring to FIG. 6, the mobile robot further includes an input unit 700 that directly receives a control command. Further, the user or the like may input a command through the input unit to output one or more pieces of information stored in the storage unit. The input unit 700 may be formed of one or more buttons. For example, in the case of a robot cleaner, the input unit 700 may be provided with a button for setting or changing a cleaning mode. In addition, the input unit 700 may further include a button for receiving a command to return to the charging station. As illustrated in FIG. 6, the input unit 700 may be installed on the upper part of the mobile robot using a hard key, a soft key, a touch pad, or the like. In addition, the input unit 700 may have a form of a touch screen together with the output unit.

출력 유닛(800)은, 도 6에 도시한 바와 같이, 이동 로봇의 상부에 구비된다. 물론 설치 위치나 설치 형태는 달라질 수 있다. 예를 들어, 출력 유닛(800)은, 예약 정보, 배터리 상태, 집중 청소, 공간 확장, 지그재그 운전 등의 청소 방식 또는 주행 방식 등을 화면에 표시한다. 출력 유닛(800)은 이동 로봇을 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태를 출력할 수 있다. 또, 출력 유닛(800)은 장애물 정보, 위치 정보, 영상 정보, 장애물 지도, 영역, 경로 등을 화면에 디스플레이할 수 있다.The output unit 800 is provided in the upper part of a mobile robot, as shown in FIG. Of course, the installation location and installation type may vary. For example, the output unit 800 displays reservation information, battery status, intensive cleaning, space expansion, cleaning method such as zigzag driving, or driving method on the screen. The output unit 800 may output the current state and the current cleaning state of each unit constituting the mobile robot. In addition, the output unit 800 may display obstacle information, location information, image information, obstacle map, area, route, and the like on the screen.

도 3을 참조하면, 이동 로봇은 전원 유닛(900)을 더 포함하여 구성된다. 전원 유닛(900)은, 충전 가능한 배터리를 구비하여 이동 로봇 내로 전원을 공급한다. 전원 유닛은 각 유닛들에 구동 전원과, 이동 로봇이 주행하거나 청소를 수행하는데 따른 동작 전원을 공급하며, 전원 잔량이 부족하면 충전 스테이션으로 이동하여 충전 전류를 공급받아 충전된다. 이동 로봇은, 배터리의 충전 상태를 감지하고, 감지 결과를 제어 유닛(300)에 전송하는 배터리 감지 유닛(미도시)을 더 포함할 수 있다. 배터리 잔량은 출력 유닛의 화면에 표시될 수 있다. 제어 유닛(300)은 미리 기준 값(배터리 잔량)을 설정하고, 배터리 잔량과 기준 값을 비교한다. 비교 결과, 감지 결과가 기준 값 이하이면, 제어 유닛(300)은 이동 로봇을 충전 스테이션으로 이동시켜 충전을 수행한다.Referring to FIG. 3, the mobile robot further includes a power supply unit 900. The power supply unit 900 includes a rechargeable battery to supply power to the mobile robot. The power supply unit supplies driving power to each of the units, and operating power as the mobile robot travels or performs cleaning. When the remaining power is insufficient, the power supply unit is charged to receive a charging current. The mobile robot may further include a battery detection unit (not shown) that detects a charging state of the battery and transmits a detection result to the control unit 300. The battery remaining amount can be displayed on the screen of the output unit. The control unit 300 sets a reference value (battery remaining amount) in advance, and compares the remaining battery level with the reference value. As a result of the comparison, if the detection result is less than or equal to the reference value, the control unit 300 moves the mobile robot to the charging station to perform charging.

이동 로봇이 로봇 청소기인 경우에, 이동 로봇은 청소 유닛을 더 포함할 수 있다. 청소 유닛은, 집진된 먼지가 저장되는 먼지통과, 청소 영역의 먼지를 흡입하는 동력을 제공하는 흡입팬과, 상기 흡입팬을 회전시켜 공기를 흡입하는 흡입 모터로 구성되어, 주변의 먼지 또는 이물질을 흡입한다.If the mobile robot is a robot cleaner, the mobile robot may further include a cleaning unit. The cleaning unit includes a dust container in which dust collected is stored, a suction fan providing power to suck dust in the cleaning area, and a suction motor rotating the suction fan to suck air, thereby removing surrounding dust or foreign matter. Inhale.

도 8을 참조하면, 일 실시 예에 따른 이동 로봇의 제어 방법은, 주변을 촬영하여 영상 정보를 검출하는 단계(S100)와, 상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 단계(S200)와, 상기 영상 정보로부터 복수의 제1 특징선들을 추출하는 단계(S300)와, 상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하는 단계(S400)와, 상기 제1 특징선들과 상기 제2 특징선을 정합하는 단계(S500)와, 상기 정합 결과를 이용하여 이동 로봇의 위치를 인식하는 단계(S600)를 포함하여 구성된다. 이하 장치의 구성은 도 1 내지 도 7을 참조한다.Referring to FIG. 8, a control method of a mobile robot according to an embodiment may include detecting image information by photographing a surrounding (S100), and detecting obstacles in the surroundings and outputting obstacle information (S200); Extracting a plurality of first feature lines from the image information (S300); extracting one or more second feature lines from the obstacle information (S400); and the first and second feature lines. And matching (S500) and recognizing the position of the mobile robot using the matching result (S600). Hereinafter, the configuration of the apparatus will be described with reference to FIGS. 1 to 7.

상기 제1 특징선들을 추출하는 단계(S300)는, 두 영상 정보로부터 복수의 점들을 추출하는 과정과, 상기 두 영상 정보 사이의 점들을 정합하여 복수의 특징점들을 추출하는 과정(S310)과, 상기 복수의 특징점들에 대한 3차원 좌표를 산출하는 과정(S320)과, 상기 3차원 좌표를 갖는 복수의 특징점들을 이용하여 상기 제1 특징선들을 추출하는 과정(S330)을 포함하여 구성된다.The extracting of the first feature lines (S300) may include extracting a plurality of points from two image informations, matching the points between the two image informations, and extracting a plurality of feature points (S310). Comprising a step (S320) for calculating a three-dimensional coordinates for a plurality of feature points, and the step (S330) for extracting the first feature line using a plurality of feature points having the three-dimensional coordinates.

도 4는 영상 정보로부터 제1 특징선을 추출하는 동작을 설명한다. 이동 로봇은 카메라를 이용하여 주변을 촬영하여 영상 정보를 검출한다(S100). 도 4a를 참조하면, 이동 로봇은 영상 정보를 소정 영상 처리하여 복수의 특징점들을 추출한다(S310). 그런 다음, 이동 로봇은 연속 촬영한 둘 이상의 영상 정보를 근거로 복수의 특징점들을 정합한다. 복수의 특징점들은 3차원의 좌표로 표현될 수 있다(S320). 도 4b를 참조하면, 이동 로봇은 3차원 좌표로 표현된 특징점들과 영상 정보로부터 추출한 선 성분들을 이용하여 제1 특징선들을 추출한다(S330). 영상 정보로부터 제1 특징선들을 추출하는 방식은 영상 처리 기법에 따라 다양하므로, 영상 처리 기법에 대한 자세한 설명은 생략한다. 이동 로봇은 제1 특징선들을 이용하여 전체 영역에 대한 장애물 지도를 생성할 수 있다. 즉, 제1 특징선들은 절대 위치를 가리키는 지표가 된다.4 illustrates an operation of extracting a first feature line from image information. The mobile robot detects image information by photographing a surrounding using a camera (S100). Referring to FIG. 4A, the mobile robot extracts a plurality of feature points by processing image information in a predetermined image (S310). Then, the mobile robot matches a plurality of feature points based on two or more pieces of image information taken continuously. The plurality of feature points may be represented by three-dimensional coordinates (S320). Referring to FIG. 4B, the mobile robot extracts first feature lines using feature points expressed in 3D coordinates and line components extracted from image information (S330). Since the method of extracting the first feature lines from the image information varies according to an image processing technique, a detailed description of the image processing technique will be omitted. The mobile robot may generate an obstacle map for the entire area using the first feature lines. That is, the first feature lines are indicative of absolute position.

도 9를 참조하면, 상기 제어 방법은, 상기 복수의 제1 특징선들을 이용하여 장애물 지도를 생성하는 단계(S340)를 더 포함하여 구성된다. 상기 장애물 지도를 생성하는 단계(S340)는, 두 영상 정보로부터 복수의 점들을 추출하는 과정과, 상기 두 영상 정보 사이의 점들을 정합하여 복수의 특징점들을 추출하는 과정과, 상기 복수의 특징점들에 대한 3차원 좌표를 산출하는 과정과, 상기 3차원 좌표를 갖는 복수의 특징점들을 이용하여 상기 제1 특징선들을 상기 장애물 지도로 표현하는 과정을 포함하여 구성된다.Referring to FIG. 9, the control method may further include generating an obstacle map using the plurality of first feature lines (S340). The generating of the obstacle map (S340) may include extracting a plurality of points from two pieces of image information, matching the points between the two pieces of image information, and extracting a plurality of feature points. Comprising a step of calculating the three-dimensional coordinates for, and using the plurality of feature points having the three-dimensional coordinates to represent the first feature line to the obstacle map.

도 5a를 참조하면, 이동 로봇은 제1 특징선들을 이용하여 장애물 지도를 생성할 수 있다(S340). 즉, 이동 로봇은 3차원의 특징점들을 이용하여 영상 정보로부터 추출한 선 성분들을 장애물 지도로 표현할 수 있다.Referring to FIG. 5A, the mobile robot may generate an obstacle map using the first feature lines (S340). That is, the mobile robot may express line components extracted from the image information using obstacle maps using three-dimensional feature points.

이동 로봇은 PSD 센서나 초음파 센서 등의 장애물 감지 유닛을 이용하여 주변의 장애물을 감지하고 장애물 정보를 생성한다(S200). 도 5b 내지 도 5c를 참조하면, 이동 로봇은 장애물 정보를 이용하여 제2 특징선을 추출한다(S400). 장애물 정보는 장애물 감지 위치(또는 장애물 감지 시의 이동 로봇의 위치), 장애물 감지 주기(시간 간격) 등을 포함한다. 장애물 감지 위치는 도 5b와 같이 표시될 수 있고, 이를 연결하면 제2 특징선을 추출할 수 있다. 제2 특징선은 국부적인 장애물의 선 성분이다.The mobile robot detects nearby obstacles using obstacle detection units such as a PSD sensor or an ultrasonic sensor and generates obstacle information (S200). 5B to 5C, the mobile robot extracts the second feature line using the obstacle information (S400). The obstacle information includes an obstacle detection position (or a position of the mobile robot at the time of obstacle detection), an obstacle detection period (time interval), and the like. The obstacle detection position may be displayed as shown in FIG. 5B, and when connected thereto, the second feature line may be extracted. The second feature line is the line component of the local obstacle.

도 5d를 참조하면, 이동 로봇은 제1 특징선과 제2 특징선을 정합하고(S500) 정합 결과를 이용하여 위치를 인식한다(S600). 즉, 이동 로봇은 절대 위치를 갖는 제1 특징선에 제2 특징선을 정합하여 위치를 인식한다. 여기서, 조명의 변화가 심하거나 조도가 일정 조도 이하인 경우, 이동 로봇은 장애물 지도 내의 제1 특징선들에 제2 특징선을 정합하고 그 정합 결과를 이용할 수 있다.Referring to FIG. 5D, the mobile robot matches the first feature line with the second feature line (S500) and recognizes a position using the matching result (S600). That is, the mobile robot recognizes the position by matching the second feature line with the first feature line having the absolute position. Here, when the lighting change is severe or the illuminance is less than a certain illuminance, the mobile robot may match the second feature line with the first feature lines in the obstacle map and use the matching result.

도 10을 참조하면, 상기 제어 방법은, 상기 주변의 조도를 감지하는 단계(S700)와, 상기 감지한 조도와 일정 조도를 비교하는 단계(S710)를 더 포함하여 구성된다. 여기서, 상기 위치를 인식하는 단계(S600)는, 비교 결과를 이용하여 상기 위치를 인식한다. 또, 상기 정합하는 단계(S500)는, 상기 감지한 조도가 상기 일정 조도 이하이면, 상기 장애물 지도 내의 제1 특징선들과 상기 제2 특징선을 정합한다. 이동 로봇은, 포토 센서, 포토 트랜지스터(Photo Transistor) 등을 이용하여 광을 감지하고 이를 이용하여 조도를 감지한다(S700). 이동 로봇은 감지한 조도가 일정 조도보다 크면, 영상 정보와 장애물 정보로부터 각각 추출한 제1 특징선들과 제2 특징선의 정합 결과를 이용하고(S520), 감지한 조도가 일정 조도 이하이면, 장애물 지도 내의 제1 특징선들과 추출한 제2 특징선의 정합 결과를 이용하여(S510) 위치를 인식한다(S600).Referring to FIG. 10, the control method may further include detecting an ambient illuminance (S700) and comparing the detected illuminance with a predetermined illuminance (S710). Here, in the step of recognizing the position (S600), the position is recognized using the comparison result. In the matching step S500, when the detected illuminance is equal to or less than the predetermined illuminance, the first feature lines and the second feature line in the obstacle map are matched. The mobile robot detects light using a photo sensor, a photo transistor, and the like, and senses illuminance using the photo sensor (S700). If the detected illuminance is greater than the predetermined illuminance, the mobile robot uses the matching result of the first and second feature lines extracted from the image information and the obstacle information, respectively (S520). The position is recognized using the matching result of the first feature lines and the extracted second feature line (S510) (S600).

이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 이동 로봇 및 이의 제어 방법은 영상 정보와 장애물 정보를 이용하여 자신의 위치를 인식할 수 있다. 특히, 본 발명의 실시 예들은 주변의 조명 변화에 따라 영상 정보와 장애물 정보로부터 각각 추출한 특징선들을 이용하거나, 또는 영상 정보를 이용하여 생성한 장애물 지도와 장애물 정보로부터 추출한 특징선을 이용하여 자신의 위치를 정밀하게 인식할 수 있다. 또, 본 발명의 실시 예들은 영상 정보를 이용한 절대 위치 인식과 장애물 정보를 이용한 상대 위치 인식을 병행 수행함으로써 다양한 조명 환경에서 위치 인식의 오차를 줄이고, 절대 위치 인식의 성능을 개선하며, 운전 효율을 증대한다.As described above, the mobile robot and its control method according to the embodiments of the present invention can recognize their position using image information and obstacle information. In particular, embodiments of the present invention use feature lines extracted from the image information and the obstacle information, respectively, according to the change in the illumination of the surroundings, or use a feature line extracted from the obstacle map and the obstacle information generated using the image information. The location can be recognized accurately. In addition, embodiments of the present invention by performing the absolute position recognition using the image information and the relative position recognition using the obstacle information in parallel to reduce the error of the position recognition in various lighting environments, improve the performance of the absolute position recognition, and improve the driving efficiency Increase.

10: 제1 특징선 추출부 20: 제2 특징선 추출부
30: 지도 생성부 40: 위치 인식부
100: 영상 검출 유닛 200: 장애물 감지 유닛
300: 제어 유닛 400: 저장 유닛
500: 조도 감지 유닛 600: 구동 유닛
10: first feature line extracting unit 20: second feature line extracting unit
30: map generator 40: location recognizer
100: image detection unit 200: obstacle detection unit
300: control unit 400: storage unit
500: illuminance detection unit 600: drive unit

Claims (14)

주변으로부터 획득한 영상 정보로부터 특징점들을 추출하고, 상기 특징점들을 이용하여 제1 특징선들을 추출하는 제1 특징선 추출부;
상기 주변의 장애물에 대한 장애물 정보를 이용하여 하나 이상의 제2 특징선을 추출하는 제2 특징선 추출부;
상기 제1 특징선들과 상기 제2 특징선을 정합하고, 정합 결과를 근거로 위치를 인식하는 위치 인식부; 및
상기 제1 특징선들을 이용하여 장애물 지도를 생성하는 지도 생성부;
를 포함하되, 상기 위치 인식부는,
상기 주변의 조도가 일정 조도 이하이면, 상기 장애물 지도 내의 제1 특징선들과 상기 제2 특징선을 정합하여 상기 위치를 인식하는 것을 특징으로 하는 이동 로봇.
A first feature line extracting unit extracting feature points from image information acquired from a surrounding, and extracting first feature lines using the feature points;
A second feature line extracting unit extracting one or more second feature lines using obstacle information on the surrounding obstacles;
A location recognizing unit matching the first feature lines with the second feature line and recognizing a location based on a matching result; And
A map generator generating an obstacle map using the first feature lines;
Including, but the location recognizing unit,
And if the peripheral illuminance is equal to or less than a predetermined illuminance, matching the first feature lines and the second feature line in the obstacle map to recognize the position.
삭제delete 삭제delete 주변을 촬영하여 영상 정보를 검출하는 영상 검출 유닛;
하나 이상의 센서를 구비하고, 상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 장애물 감지 유닛;
상기 영상 정보로부터 복수의 제1 특징선들을 추출하고, 상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하며, 상기 제1 특징선들과 상기 제2 특징선을 정합하여 위치를 인식하는 제어 유닛; 및
상기 주변의 조도를 감지하는 조도 감지 유닛;
을 포함하고, 상기 제어 유닛은,
상기 제1 특징선들을 이용하여 장애물 지도를 생성하되, 상기 조도 감지 유닛이 감지한 조도가 일정 조도보다 크면, 상기 제1 특징선들과 상기 제2 특징선의 정합 결과를 이용하고,
상기 조도 감지 유닛이 감지한 조도가 상기 일정 조도 이하이면, 상기 장애물 지도 내의 제1 특징선들과 상기 제2 특징선의 정합 결과를 이용하여 상기 위치를 인식하는 것을 특징으로 하는 이동 로봇.
An image detection unit detecting an image by photographing a surrounding;
An obstacle detecting unit having one or more sensors and detecting obstacles in the vicinity and outputting obstacle information;
A control unit extracting a plurality of first feature lines from the image information, extracting one or more second feature lines from the obstacle information, and matching the first feature lines with the second feature lines to recognize a position; And
An illuminance detecting unit detecting the illuminance of the surroundings;
Including, the control unit,
Generate an obstacle map using the first feature lines, and if the illuminance detected by the illuminance sensing unit is greater than a predetermined illuminance, use a matching result of the first feature lines and the second feature line,
And when the illuminance sensed by the illuminance detecting unit is equal to or less than the predetermined illuminance, recognize the position by using a matching result of the first feature lines and the second feature line in the obstacle map.
삭제delete 제4 항에 있어서,
상기 제1 특징선들, 상기 하나 이상의 제2 특징선, 및 상기 장애물 지도를 저장하는 저장 유닛;을 더 포함하는 이동 로봇.
5. The method of claim 4,
And a storage unit storing the first feature lines, the one or more second feature lines, and the obstacle map.
삭제delete 삭제delete 제4 항에 있어서, 상기 제어 유닛은,
두 영상 정보로부터 복수의 점들을 추출하고, 상기 두 영상 정보 사이의 점들을 정합하여 복수의 특징점들을 추출하는 특징점 추출부;
상기 복수의 특징점들에 대한 3차원 좌표를 산출하는 좌표 산출부;
상기 영상 정보로부터 상기 복수의 제1 특징선들을 추출하는 제1 특징선 추출부;
상기 3차원 좌표를 갖는 복수의 특징점들을 이용하여 상기 제1 특징선들을 상기 장애물 지도로 표현하는 지도 생성부; 및
상기 장애물 정보로부터 상기 하나 이상의 제2 특징선을 추출하는 제2 특징선 추출부;를 포함하는 것을 특징으로 하는 이동 로봇.
The method of claim 4, wherein the control unit,
A feature point extracting unit extracting a plurality of points from two pieces of image information, and extracting a plurality of feature points by matching points between the two pieces of image information;
A coordinate calculator configured to calculate three-dimensional coordinates of the plurality of feature points;
A first feature line extracting unit extracting the plurality of first feature lines from the image information;
A map generation unit expressing the first feature lines as the obstacle map using a plurality of feature points having the three-dimensional coordinates; And
And a second feature line extracting unit which extracts the at least one second feature line from the obstacle information.
주변을 촬영하여 영상 정보를 검출하는 단계;
상기 주변의 장애물을 감지하여 장애물 정보를 출력하는 단계;
상기 영상 정보로부터 복수의 제1 특징선들을 추출하는 단계;
상기 복수의 제1 특징선들을 이용하여 장애물 지도를 생성하는 단계;
상기 장애물 정보로부터 하나 이상의 제2 특징선을 추출하는 단계;
상기 주변의 조도를 감지하는 단계;
상기 감지한 조도와 일정 조도를 비교하는 단계;
상기 감지한 조도가 상기 일정 조도 이하이면, 상기 장애물 지도 내의 제1 특징선들과 상기 제2 특징선을 정합하는 단계; 및
상기 정합 결과를 이용하여 이동 로봇의 위치를 인식하는 단계;를 포함하는 이동 로봇의 제어 방법.
Photographing the surroundings to detect image information;
Sensing obstacles in the vicinity to output obstacle information;
Extracting a plurality of first feature lines from the image information;
Generating an obstacle map using the plurality of first feature lines;
Extracting at least one second feature line from the obstacle information;
Detecting illuminance of the surroundings;
Comparing the detected illuminance with a predetermined illuminance;
If the detected illuminance is equal to or less than the predetermined illuminance, matching the first feature lines and the second feature line in the obstacle map; And
Recognizing a position of the mobile robot using the matching result; Control method of a mobile robot comprising a.
삭제delete 삭제delete 삭제delete 제10 항에 있어서, 상기 장애물 지도를 생성하는 단계는,
두 영상 정보로부터 복수의 점들을 추출하는 과정;
상기 두 영상 정보 사이의 점들을 정합하여 복수의 특징점들을 추출하는 과정;
상기 복수의 특징점들에 대한 3차원 좌표를 산출하는 과정; 및
상기 3차원 좌표를 갖는 복수의 특징점들을 이용하여 상기 제1 특징선들을 상기 장애물 지도로 표현하는 과정;을 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.
The method of claim 10, wherein generating the obstacle map,
Extracting a plurality of points from two image informations;
Extracting a plurality of feature points by matching points between the two image information;
Calculating three-dimensional coordinates of the plurality of feature points; And
And expressing the first feature lines as the obstacle map using a plurality of feature points having the three-dimensional coordinates.
KR1020110106658A 2011-10-18 2011-10-18 Mobile robot and controlling method of the same KR101303161B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110106658A KR101303161B1 (en) 2011-10-18 2011-10-18 Mobile robot and controlling method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110106658A KR101303161B1 (en) 2011-10-18 2011-10-18 Mobile robot and controlling method of the same

Publications (2)

Publication Number Publication Date
KR20130042389A KR20130042389A (en) 2013-04-26
KR101303161B1 true KR101303161B1 (en) 2013-09-09

Family

ID=48441101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110106658A KR101303161B1 (en) 2011-10-18 2011-10-18 Mobile robot and controlling method of the same

Country Status (1)

Country Link
KR (1) KR101303161B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3079031A1 (en) * 2015-04-08 2016-10-12 LG Electronics Inc. Moving robot and method of recognizing location of moving robot

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101719127B1 (en) * 2016-08-08 2017-03-23 연세대학교 산학협력단 Apparatus for obstacle detection and method thereof
US20190179333A1 (en) * 2016-08-25 2019-06-13 Lg Electronics Inc. Mobile robot and control method for controlling the same
KR102548936B1 (en) * 2016-08-25 2023-06-27 엘지전자 주식회사 Artificial intelligence Moving robot and control method thereof
KR101984516B1 (en) * 2017-07-21 2019-05-31 엘지전자 주식회사 Cleaner and controlling method thereof
KR102100474B1 (en) * 2018-04-30 2020-04-13 엘지전자 주식회사 Artificial intelligence cleaner and controlling method thereof
CN115381335B (en) * 2022-04-26 2024-01-02 深圳市普森斯科技有限公司 Path control method, device and equipment of sweeping robot and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098999A (en) * 2009-03-02 2010-09-10 엘지전자 주식회사 Robot cleaner and method for detecting position thereof
KR20100119442A (en) * 2009-04-30 2010-11-09 엘지전자 주식회사 Mobile robot, robot cleaner and method for detecting angles of the mobile robot
KR20110092158A (en) * 2010-02-08 2011-08-17 엘지전자 주식회사 Robot cleaner and controlling method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098999A (en) * 2009-03-02 2010-09-10 엘지전자 주식회사 Robot cleaner and method for detecting position thereof
KR20100119442A (en) * 2009-04-30 2010-11-09 엘지전자 주식회사 Mobile robot, robot cleaner and method for detecting angles of the mobile robot
KR20110092158A (en) * 2010-02-08 2011-08-17 엘지전자 주식회사 Robot cleaner and controlling method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3079031A1 (en) * 2015-04-08 2016-10-12 LG Electronics Inc. Moving robot and method of recognizing location of moving robot
US10303179B2 (en) 2015-04-08 2019-05-28 Lg Electronics Inc. Moving robot and method of recognizing location of a moving robot

Also Published As

Publication number Publication date
KR20130042389A (en) 2013-04-26

Similar Documents

Publication Publication Date Title
KR101366860B1 (en) Mobile robot and controlling method of the same
KR101677634B1 (en) Robot cleaner and controlling method of the same
KR101303161B1 (en) Mobile robot and controlling method of the same
KR101949277B1 (en) Autonomous mobile robot
KR102527645B1 (en) Cleaning robot and controlling method thereof
KR101813922B1 (en) Robot cleaner and controlling method of the same
KR101954144B1 (en) Robot cleaner, controlling method of the same, and robot cleaning system
KR101570377B1 (en) 3 Method for builing 3D map by mobile robot with a single camera
KR101649645B1 (en) Robot cleaner and controlling method thereof
KR102275300B1 (en) Moving robot and control method thereof
KR20120044768A (en) Robot cleaner and controlling method of the same
KR101976462B1 (en) A robot cleaner a control method thereof
KR20180082264A (en) Moving Robot and controlling method
KR101697857B1 (en) Moving robot and method for recognizing a location of the same
KR101842459B1 (en) Robot cleaner and method for controlling the same
KR101951414B1 (en) Robot cleaner and controlling method of the same
KR20100098997A (en) Robot cleaner and method for detecting position thereof
KR101553950B1 (en) Robot cleaner and method for detecting position thereof
KR101943359B1 (en) Robot cleaner and controlling method of the same
KR20110085500A (en) Robot cleaner and controlling method thereof
KR101223480B1 (en) Mobile robot and controlling method of the same
KR20200142865A (en) A robot cleaner using artificial intelligence and control method thereof
KR101895314B1 (en) Robot cleaner and controlling method of the same
EP3478143B1 (en) Robot cleaner
KR20160090278A (en) Mobile robot and controlling method of the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee