KR20130045743A - Mobile robot and method for tracking target of the same - Google Patents

Mobile robot and method for tracking target of the same Download PDF

Info

Publication number
KR20130045743A
KR20130045743A KR1020110110153A KR20110110153A KR20130045743A KR 20130045743 A KR20130045743 A KR 20130045743A KR 1020110110153 A KR1020110110153 A KR 1020110110153A KR 20110110153 A KR20110110153 A KR 20110110153A KR 20130045743 A KR20130045743 A KR 20130045743A
Authority
KR
South Korea
Prior art keywords
target
image information
classifier
region
depth
Prior art date
Application number
KR1020110110153A
Other languages
Korean (ko)
Other versions
KR101371038B1 (en
Inventor
단병규
박태곤
안광호
고성제
정준영
백승민
김형록
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110110153A priority Critical patent/KR101371038B1/en
Publication of KR20130045743A publication Critical patent/KR20130045743A/en
Application granted granted Critical
Publication of KR101371038B1 publication Critical patent/KR101371038B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A mobile robot and a method for tracking a target thereof are provided to precisely recognize and track the target by integrating an image camera technology and a 3-dimensional depth sensor technology. CONSTITUTION: A mobile robot comprises an image camera, a 3-dimensional depth sensor, an area setting unit, and a target recognition unit. The 3-dimensional depth sensor detects video information with respect to a specific area. The area setting unit sets an interest area on the specific area using the video information. The target recognition unit recognizes the target by image processing with respect to a part corresponding to the interest area among the video information. [Reference numerals] (AA) Initialize; (BB) Set an interest area; (CC) Track a target; (S10) Set a target; (S100,200) Extract image information and detect depth image information; (S320) Create a seed map; (S330) Create a boundary map; (S340) Extend the seed map and set an interest area; (S410) Create a classifier; (S420) Recognize the target through the classifier; (S430) Update the classifier

Description

이동 로봇 및 이의 목표물 추적 방법{MOBILE ROBOT AND METHOD FOR TRACKING TARGET OF THE SAME}MOBILE ROBOT AND METHOD FOR TRACKING TARGET OF THE SAME}

본 발명은 카메라를 이용하여 목표물을 인식하고 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법에 관한 것이다.The present invention relates to a mobile robot that can recognize and track a target using a camera and a target tracking method thereof.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.In general, robots have been developed for industrial use and have been a part of factory automation. In recent years, medical robots, aerospace robots, and the like have been developed, and household robots that can be used in ordinary homes are being developed.

가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.A typical example of a household robot is a robot cleaner, which is a kind of electronic device that cleans by sucking dust or foreign substances around itself while driving a certain area by itself. Such a robot cleaner is generally equipped with a rechargeable battery and has an obstacle sensor capable of avoiding obstacles during traveling, so that it can run and clean by itself.

근래에는 이동 로봇을 이용한 응용 기술이 개발되고 있다. 예를 들어, 네트워킹 기능을 가진 이동 로봇의 개발이 진행되어, 원격지에서 제어 명령을 내릴 수 있도록 하거나 주변 상황을 모니터할 수 있도록 하는 기능이 구현되고 있다. 또, 카메라나 각종 센서들을 이용하여 위치 인식 기능을 가진 이동 로봇들이 개발되고 있다. 또, 카메라를 이용하여 목표물을 인식하고 추적하는 기능을 구비한 이동 로봇들이 개발되고 있다.Recently, application technologies using mobile robots have been developed. For example, the development of a mobile robot with a networking function has been progressed, and a function for allowing a control command to be issued from a remote location or monitoring a surrounding situation is being implemented. In addition, mobile robots having a position recognition function using cameras or various sensors have been developed. In addition, mobile robots having a function of recognizing and tracking a target using a camera have been developed.

본 발명의 실시 예들은 카메라를 통해 추출한 영상 정보를 이용하여 목표물을 추적함에 있어서 영상 정보로부터 관심 영역을 설정하여 목표물을 정확하게 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법을 제공하는 데에 일 목적이 있다.Embodiments of the present invention provide a mobile robot and a method for tracking a target, which can accurately track a target by setting a region of interest from the image information in tracking a target using image information extracted through a camera. have.

본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법을 제공하는 데에 일 목적이 있다.Embodiments of the present invention are to provide a mobile robot and its target tracking method capable of precisely recognizing and tracking a target by combining image camera technology and 3D depth sensor technology.

일 실시 예에 따른 이동 로봇은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 카메라와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 3차원 깊이 센서와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 유닛과, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 유닛을 포함하여 구성된다.According to an embodiment, a mobile robot may include an image camera photographing a front surface and extracting image information of a predetermined region, a 3D depth sensor detecting depth image information of the predetermined region, and the depth image information. And a target setting unit configured to set a region of interest on the predetermined region and a target recognition unit that performs image processing on a portion of the image information corresponding to the region of interest.

일 실시 예에 따른 이동 로봇의 목표물 추적 방법은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계와, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계를 포함하여 구성된다.An object tracking method of a mobile robot according to an embodiment includes: an image extraction step of photographing a front side and extracting image information of a predetermined area, a depth image detection step of detecting depth image information of the predetermined area, and the depth A region setting step of setting a region of interest on the predetermined region using image information, and a target recognition step of recognizing a target by performing image processing on a portion of the image information corresponding to the region of interest. .

본 발명의 실시 예들은 카메라를 통해 추출한 영상 정보에 목표물에 대한 관심 영역을 설정하여 목표물 인식의 정확성을 높인다. 본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있다.Embodiments of the present invention increase the accuracy of target recognition by setting a region of interest for the target in the image information extracted by the camera. Embodiments of the present invention can fuse the image camera technology and the three-dimensional depth sensor technology to accurately recognize and track the target.

본 발명의 실시 예들은 영상을 이용하여 목표물을 추적함에 있어서, 연산량을 줄이고 연산 속도를 향상시키고, 인식 오차를 줄이며, 목표물을 실시간으로 추적할 수 있도록 한다.Embodiments of the present invention enable tracking the target by using an image, thereby reducing the amount of computation, improving the computation speed, reducing the recognition error, and tracking the target in real time.

도 1 및 도 2는 본 발명의 실시 예들에 따른 이동 로봇의 구성을 개략적으로 보인 블록도들;
도 3 및 도 4는 본 발명의 실시 예들에 따른 이동 로봇의 목표물 추적 방법을 개략적으로 보인 흐름도들;
도 5는 본 발명의 실시 예들에 따라 영상 정보로부터 목표물을 인식하기 위한 분류기를 생성하는 동작을 설명하기 위해 보인 도;
도 6은 본 발명의 실시 예들에 따라 목표물을 인식하는 동작을 설명하기 위해 보인 영상들; 및
도 7은 본 발명의 실시 예들에 따라 깊이 영상 정보로부터 히스토그램을 이용하여 관심 영역을 설정하는 동작을 설명하기 위해 보인 도이다.1 and 2 are block diagrams schematically showing the configuration of a mobile robot according to embodiments of the present invention;
3 and 4 are flow charts schematically showing a target tracking method of the mobile robot according to embodiments of the present invention;
5 is a view illustrating an operation of generating a classifier for recognizing a target from image information according to embodiments of the present disclosure.
6 is a view illustrating images for explaining an operation of recognizing a target according to embodiments of the present disclosure; And
FIG. 7 is a diagram illustrating an operation of setting a region of interest using a histogram from depth image information according to embodiments of the present disclosure.

도 1을 참조하면, 일 실시 예에 따른 이동 로봇은, 영상 카메라(100)와, 3차원 깊이 센서(200)와, 영역 설정 유닛(300)과, 목표물 인식 유닛(400)을 포함하여 구성된다. 영상 카메라(100)는 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출한다. 3차원 깊이 센서(200)는 상기 일정 영역에 대한 깊이 영상 정보를 검출한다. 영역 설정 유닛(300)은 상기 3차원 깊이 센서(200)가 검출한 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정한다. 목표물 인식 유닛(400)은 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하고, 수행 결과를 이용하여 목표물을 인식한다. 여기서, 목표물은 사람, 동물, 동적 물체 등을 포함한다.Referring to FIG. 1, a mobile robot according to an embodiment includes an image camera 100, a 3D depth sensor 200, an area setting unit 300, and a target recognition unit 400. . The image camera 100 photographs the front and extracts image information about a certain area. The 3D depth sensor 200 detects depth image information of the predetermined area. The area setting unit 300 sets the ROI on the predetermined area by using the depth image information detected by the 3D depth sensor 200. The target recognizing unit 400 performs image processing on a portion of the image information corresponding to the ROI, and recognizes a target by using an execution result. Here, the target includes a person, an animal, a dynamic object, and the like.

영상 카메라(100)는 전방이나 상방을 향하도록 설치된다. 설치 위치는 로봇의 크기, 형태 등에 따라 달라질 수 있다. 영상 카메라(100)는 일정 해상도 이상의 CCD 카메라, CMOS 카메라 등일 수 있다. 영상 카메라(100)는 필요에 따라 렌즈를 구비할 수 있다. 영상 카메라(100)는 설치된 방향, 전방을 촬영하여 일정 영역에 대한 영상 정보(Vision Image)를 추출하여 영역 설정 유닛(300) 또는 목표물 인식 유닛(400)에 출력한다. 추출한 영상 정보(Vision Image)의 일 예는 도 6(a)와 같다.The video camera 100 is installed to face forward or upward. The installation position may vary depending on the size and shape of the robot. The image camera 100 may be a CCD camera or a CMOS camera having a predetermined resolution or the like. The imaging camera 100 may be provided with a lens as necessary. The image camera 100 extracts image information (Vision Image) for a predetermined area by photographing the installed direction and the front and outputs the image information to the area setting unit 300 or the target recognition unit 400. An example of extracted image information (Vision Image) is shown in FIG. 6 (a).

3차원 깊이 센서(200)는 영상 카메라(100)와 동일 방향으로 설치된다. 예를 들어, 3차원 깊이 센서(200)는, 발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보(Depth Image)를 검출할 수 있다. 즉, 3차원 깊이 센서(200)는 영상 카메라와 함께 또는 별도의 영상 카메라와 함께 적외선 센서를 구비한다. 3차원 깊이 센서는 발광부로부터 발신된 적외선이 수광부로 반사되어 돌아오는 시간을 이용하여 깊이 영상 정보를 생성한다. 발광부와 수광부는 서로 떨어져 있는데 그 거리가 짧을수록 오차가 줄어들고 정밀한 깊이 영상 정보를 생성할 수 있다. 검출한 깊이 영상 정보(Depth Image)의 일 예는 도 6(b)와 같다.The 3D depth sensor 200 is installed in the same direction as the image camera 100. For example, the 3D depth sensor 200 may include a light emitting unit and a light receiving unit, and detect the depth image information by using infrared rays. That is, the 3D depth sensor 200 includes an infrared sensor together with an image camera or with a separate image camera. The 3D depth sensor generates depth image information by using the time when the infrared rays emitted from the light emitter are reflected back to the light receiver. The light emitting part and the light receiving part are separated from each other, and the shorter the distance, the less the error and the precise depth image information can be generated. An example of the detected depth image information is shown in FIG. 6B.

영역 설정 유닛(300)은 깊이 영상 정보(Depth Image)를 히스토그램(Histogram)과 같은 영상 처리 기법을 이용하여 관심 영역(Region of Interest; ROI)를 설정한다. 도 7에 도시한 바와 같이, 깊이 영상 정보에서 목표물이 깊이 값은 일정한 범위에 분포하기 때문에 히스토그램 상에서 값이 크고 폭이 좁은 영역에 목표물이 위치하게 된다. 이러한 영역을 명확하기 찾기 위해서 하기 수학식과 같이 히스토그램의 대조(Contrast)를 연산한다.The region setting unit 300 sets a region of interest (ROI) using depth image information using an image processing technique such as a histogram. As shown in FIG. 7, since the depth value of the target is distributed in a predetermined range in the depth image information, the target is positioned in a region having a large value and a narrow width on the histogram. In order to clarify such an area, a contrast of the histogram is calculated as in the following equation.

Figure pat00001
Figure pat00001

여기서, P는 깊이 영상 정보의 점(point), i, k, n는 연번이다.Where P is a point of depth image information, i, k, n are consecutive numbers.

상기 이동 로봇은 상기 수학식 1을 통해 연산된 대조가 일정 기준 값(threshold value) 이상일 경우에 목표물인 것으로 판단한다. 영역 설정 유닛(300)은 깊이 영상 정보로부터 일정 깊이 값에 해당하는 영역을 이용하여 기초 지도를 생성한다.The mobile robot determines that the target is a target when the control calculated by Equation 1 is equal to or greater than a threshold value. The area setting unit 300 generates a base map by using an area corresponding to a predetermined depth value from the depth image information.

도 2를 참조하면, 영역 설정 유닛(300)은, 상기 깊이 영상 정보를 히스토그램으로 변환하고 변환된 정보를 이용하여 기초 지도(Seed Map)를 생성하는 기초 지도 생성부(310)를 포함한다. 기초 지도(Seed Map)의 일 예는 도 6(c)와 같다. 또, 영역 설정 유닛(300)은, 상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도(Boundary Map)를 생성하는 경계 지도 생성부(320)를 더 포함하여 구성된다. 경계 지도(Boundary Map)의 일 예는 도 6(d)와 같다. 또, 영역 설정 유닛(300)은, 상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역(ROI)을 설정하는 관심 영역 설정부(330)를 더 포함하여 구성된다. 관심 영역(ROI)의 일 예는 도 6(e)와 같다.Referring to FIG. 2, the area setting unit 300 includes a base map generator 310 that converts the depth image information into a histogram and generates a seed map using the converted information. An example of a seed map is shown in FIG. 6 (c). The area setting unit 300 further includes a boundary map generator 320 that generates a boundary map based on the change of the value in the depth image information. An example of a boundary map is shown in FIG. 6 (d). The area setting unit 300 further includes a region of interest setting unit 330 which sets the region of interest ROI by extending the base map to a boundary within the boundary map. An example of the ROI is illustrated in FIG. 6E.

관심 영역은 다음과 같이 설정될 수 있다. 즉, 영역 설정 유닛(300)은 깊이 영상 정보를 히스토그램으로 변환하여 기초 지도(Seed Map)를 생성하고, 경계 지도(Boundary Map)을 생성한다. 그런 다음, 영역 설정 유닛(300)은 기초 지도 내의 시드(seed)를 경계 지도 내의 경계(boundary)로까지 확장시킨다. 그 확장시킨 결과가 관심 영역(ROI)이 된다.The region of interest may be set as follows. That is, the area setting unit 300 converts the depth image information into a histogram to generate a seed map, and generates a boundary map. The area setting unit 300 then extends the seed in the base map to the boundary in the boundary map. The expanded result is the region of interest (ROI).

목표물 인식 유닛(400)은, 상기 영상 정보를 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 이용하여 상기 영상 처리를 수행한다. 특히, 목표물 인식 유닛(400)은, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행한다.The target recognition unit 400 performs the image processing by using the classifier divided into the first sample including the target and the second sample having the same size as the first sample. In particular, the target recognition unit 400 performs the image processing by using the classifier on a portion of the image information corresponding to the ROI.

목표물 인식 유닛(400)은 먼저 분류기(classifier)를 생성하는데, 일반적으로 이전 주기에 인식한 목표물이 이용하여 분류기를 생성한다. 즉, 목표물 인식 유닛(400)은, 사용자의 지정 또는 이전 분류기를 이용하여 인식한 목표물을 제1 샘플로 지정하고, 그 주변의 동일한 크기 영역을 제2 샘플로 지정하여 분류기를 생성한다. 목표물 인식 유닛(400)은 도 5에 도시한 바와 같은 방식으로 분류기를 업데이트할 수 있다. 업데이트를 위해 추가된 샘플에 중요도 λ값을 초기화한다. 목표물 인식하는 과정에서 에러 예측을 통하여 새로운 약한 분류기 h를 선택하고, 약한 분류기의 가중치 α와 샘플의 중요도 λ를 업데이트한다. 전체 업데이트 과정이 완료되면 약한 분류기와 가중치의 곱의 누적 합이 새로운 강한 분류기가 된다. 이러한 업데이트 과정은 제1 샘플과 제2 샘플에 대하여 수행한다. 목표물 인식 유닛(400)은 분류기를 계속해서 업데이트하면서 목표물을 인식, 추적한다. 분류기를 생성하여 목표물을 인식, 추적하는 방식의 일 예로 온라인 부스팅(On-line Boosting) 알고리즘이 있다.The target recognition unit 400 first generates a classifier. In general, the target recognition unit 400 generates a classifier by using the target recognized in the previous period. That is, the target recognition unit 400 designates a target recognized by using a user's designation or a previous classifier as a first sample, and designates a classifier by designating the same size area around the second sample. The target recognition unit 400 may update the classifier in the manner as shown in FIG. 5. Initialize the importance lambda value to the sample added for update. In the process of recognizing the target, a new weak classifier h is selected through error prediction, and the weight class α of the weak classifier and the importance λ of the sample are updated. When the entire update process is complete, the cumulative sum of the product of the weak classifier and the weight is the new strong classifier. This update process is performed on the first sample and the second sample. The target recognition unit 400 recognizes and tracks the target while continuously updating the classifier. An example of a method of generating a classifier to recognize and track a target is an online boosting algorithm.

즉, 영상 카메라(100)와 3차원 깊이 센서(200)는, 일정 시간 주기마다 각각 영상 정보와 깊이 영상 정보를 검출한다. 이때, 목표물 인식 유닛(400)은, 이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 일정 시간 주기마다 상기 분류기를 업데이트한다. 또, 목표물 인식 유닛(400)은 업데이트된 분류기를 이용하여 목표물을 추적한다. 이렇게 함으로써 이동 로봇은 목표물 인식 에러를 줄일 수 있고, 목표물을 정밀하게 추적할 수 있다.That is, the image camera 100 and the 3D depth sensor 200 detect the image information and the depth image information at predetermined time periods, respectively. At this time, the target recognition unit 400 updates the classifier every predetermined time period based on the recognition error of the target using the classifier in the previous time period. The target recognition unit 400 also tracks the target using the updated classifier. By doing this, the mobile robot can reduce the target recognition error and can precisely track the target.

도 2를 참조하면, 상기 이동 로봇은 하나 이상의 바퀴에 연결되어 상기 바퀴를 구동하고, 상기 목표물을 추적하여 상기 이동 로봇을 이동시키는 구동 유닛(500)을 더 포함하여 구성된다. 구동 유닛(500)은 바퀴들을 회전시키는 소정의 휠 모터(Wheel Motor)를 구비하여, 휠 모터를 구동함으로써 이동 로봇을 이동시킨다. 상기 바퀴는 주 바퀴와 보조 바퀴를 구분될 수 있다. 휠 모터는 각각 주 바퀴에 연결되어 주 바퀴가 회전하도록 하고, 휠 모터는 서로 독립적으로 작동하며 양방향으로 회전이 가능하다. 또, 이동 로봇은 배면에 하나 이상의 보조 바퀴를 구비하여 본체를 지지하고, 본체의 하면과 바닥면 사이의 마찰을 최소화하고 이동 로봇의 이동이 원활하도록 할 수 있다.Referring to FIG. 2, the mobile robot further includes a driving unit 500 connected to one or more wheels to drive the wheels and tracking the target to move the mobile robot. The drive unit 500 includes a predetermined wheel motor for rotating the wheels to move the mobile robot by driving the wheel motor. The wheel may distinguish between a main wheel and an auxiliary wheel. Each wheel motor is connected to the main wheels so that the main wheels rotate, and the wheel motors operate independently of each other and can rotate in both directions. In addition, the mobile robot may be provided with one or more auxiliary wheels on the rear side to support the main body, to minimize friction between the lower surface and the bottom surface of the main body, and to facilitate the movement of the mobile robot.

도 2를 참조하면, 상기 이동 로봇은 상기 영상 정보, 깊이 영상 정보, 기초 지도, 경계 지도, 관심 영역 등을 임시로 아니면 지속적으로 저장하는 저장 유닛(600)을 더 포함할 수 있다. 또, 저장 유닛(600)은 이동 로봇을 제어(구동)하는 제어 프로그램 및 그에 따른 데이터를 더 저장할 수 있다. 저장 유닛(600)은, 램(RAM)의 형태를 가질 수 있고, 또는 롬(ROM), 플래시 메모리(Flash Memory) 등의 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)의 형태로 구성될 수 있다.Referring to FIG. 2, the mobile robot may further include a storage unit 600 that temporarily or continuously stores the image information, depth image information, base map, boundary map, region of interest, and the like. In addition, the storage unit 600 may further store a control program and data corresponding thereto for controlling (driving) the mobile robot. The storage unit 600 may have a form of RAM, or may be configured in a form of non-volatile memory (NVM, NVRAM) such as a ROM or a flash memory. Can be.

도 3을 참조하면, 일 실시 예에 따른 이동 로봇의 목표물 추적 방법은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계(S100)와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계(S200)와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계(S300)와, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계(S400)를 포함하여 구성된다. 이하 장치의 구성은 도 1 및 도 2를 참조한다.Referring to FIG. 3, the method for tracking a target of a mobile robot according to an exemplary embodiment includes an image extraction step (S100) of photographing a front side and extracting image information of a predetermined region, and detecting depth image information of the predetermined region. Depth image detection step (S200), the region setting step of setting the region of interest on the predetermined region using the depth image information (S300), and image processing for the portion corresponding to the region of interest of the image information It is configured to include a target recognition step (S400) to recognize the target by performing. Hereinafter, the configuration of the apparatus will be described with reference to FIGS. 1 and 2.

이동 로봇은 영상 카메라를 이용하여 전방을 촬영하고 일정 크기의 영상 정보를 생성한다(S100). 추출한 영상 정보(Vision Image)의 일 예는 도 6(a)와 같다. 또, 이동 로봇은 3차원 깊이 센서를 이용하여 영상 정보에 대응하는 영역에 대하여 깊이 영상 정보를 검출한다(S200). 예를 들어, 3차원 깊이 센서는, 발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보(Depth Image)를 검출하는 적외선 센서를 포함할 수 있다. 3차원 깊이 센서는 발광부로부터 발신된 적외선이 수광부로 반사되어 돌아오는 시간을 이용하여 깊이 영상 정보를 생성한다. 발광부와 수광부는 서로 떨어져 있는데 그 거리가 짧을수록 오차가 줄어들고 정밀한 깊이 영상 정보를 생성할 수 있다. 검출한 깊이 영상 정보(Depth Image)의 일 예는 도 6(b)와 같다.The mobile robot photographs the front using an image camera and generates image information of a predetermined size (S100). An example of extracted image information (Vision Image) is shown in FIG. 6 (a). In addition, the mobile robot detects the depth image information of the area corresponding to the image information by using the 3D depth sensor (S200). For example, the 3D depth sensor may include an infrared sensor having a light emitting unit and a light receiving unit and detecting the depth image information using infrared light. The 3D depth sensor generates depth image information by using the time when the infrared rays emitted from the light emitter are reflected back to the light receiver. The light emitting part and the light receiving part are separated from each other, and the shorter the distance, the less the error and the precise depth image information can be generated. An example of the detected depth image information is shown in FIG. 6B.

도 3을 참조하면, 영역 설정 단계(S300)는, 상기 깊이 영상 정보를 히스토그램으로 변환하는 과정(S310)과, 상기 히스토그램으로 변환된 정보를 이용하여 기초 지도를 생성하는 과정(S320)과, 상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 과정(S330)과, 상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 과정(S340)을 포함하여 구성된다.Referring to FIG. 3, the area setting step S300 may include converting the depth image information into a histogram (S310), generating a base map using the converted histogram information (S320), and And generating a boundary map based on the change of the value in the depth image information (S330), and extending the base map to a boundary within the boundary map (S340).

이동 로봇은 깊이 영상 정보(Depth Image)를 히스토그램(Histogram)과 같은 영상 처리 기법을 이용하여 관심 영역(Region of Interest; ROI)를 설정한다(S300). 도 7에 도시한 바와 같이, 깊이 영상 정보에서 목표물이 깊이 값은 일정한 범위에 분포하기 때문에 히스토그램 상에서 값이 크고 폭이 좁은 영역에 목표물이 위치하게 된다. 이러한 영역을 명확하기 찾기 위해서 상기한 바와 같이 수학식 1을 이용하여 히스토그램의 대조(Contrast)를 연산한다(S310).The mobile robot sets a region of interest (ROI) using depth image information using an image processing technique such as a histogram (S300). As shown in FIG. 7, since the depth value of the target is distributed in a predetermined range in the depth image information, the target is positioned in a region having a large value and a narrow width on the histogram. In order to clarify such an area, a contrast of the histogram is calculated using Equation 1 as described above (S310).

이동 로봇은 상기 수학식 1을 통해 연산된 대조가 일정 기준 값(threshold value) 이상일 경우에 목표물인 것으로 판단한다. 이동 로봇은 깊이 영상 정보로부터 일정 깊이 값에 해당하는 영역을 이용하여 기초 지도를 생성한다(S320). 기초 지도(Seed Map)의 일 예는 도 6(c)와 같다. 이동 로봇은 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도(Boundary Map)를 생성한다(S330). 경계 지도(Boundary Map)의 일 예는 도 6(d)와 같다. 또, 이동 로봇은 기초 지도 내의 시드(seed)를 경계 지도 내의 경계(boundary)로까지 확장시킨다. 그 확장시킨 결과가 관심 영역(ROI)이 된다(S340). 관심 영역(ROI)의 일 예는 도 6(e)와 같다.The mobile robot determines that the target is a target when the comparison calculated through Equation 1 is equal to or greater than a predetermined threshold value. The mobile robot generates a base map using an area corresponding to a predetermined depth value from the depth image information (S320). An example of a seed map is shown in FIG. 6 (c). The mobile robot generates a boundary map based on the change of the value in the depth image information (S330). An example of a boundary map is shown in FIG. 6 (d). The mobile robot also extends the seed in the base map to the boundary in the boundary map. The expanded result is the region of interest ROI (S340). An example of the ROI is illustrated in FIG. 6E.

도 3을 다시 참조하면, 목표물 인식 단계(S400)는, 상기 영상 정보에 대하여 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 생성하는 과정(S410)과, 상기 분류기를 이용하여 상기 영상 처리를 수행하는 과정(S420)을 포함하여 구성된다. 여기서, 영상 처리를 수행하는 과정(S420)은, 영상 정보 중 관심 영역에 대응되는 부분에 대하여 분류기를 이용하여 영상 처리를 수행하는 것이 좋다.Referring back to FIG. 3, in operation S400, a target classifier is divided into a first sample including the target and a second sample having the same size as the first sample with respect to the image information. And a step (S420) of performing the image processing by using the classifier. In the process of performing image processing (S420), it is preferable to perform image processing using a classifier on a portion corresponding to the ROI of the image information.

이동 로봇은 먼저 분류기(classifier)를 생성하는데, 일반적으로 이전 주기에 인식한 목표물이 이용하여 분류기를 생성한다(S410). 즉, 이동 로봇은, 사용자의 지정 또는 이전 분류기를 이용하여 인식한 목표물을 제1 샘플로 지정하고, 그 주변의 동일한 크기 영역을 제2 샘플로 지정하여 분류기를 생성한다. 이동 로봇은 도 5에 도시한 바와 같은 방식으로 분류기를 업데이트할 수 있다. 업데이트를 위해 추가된 샘플에 중요도 λ값을 초기화한다. 목표물 인식하는 과정에서 에러 예측을 통하여 새로운 약한 분류기 h를 선택하고, 약한 분류기의 가중치 α와 샘플의 중요도 λ를 업데이트한다(S411, S412). 전체 업데이트 과정이 완료되면 약한 분류기와 가중치의 곱의 누적 합이 새로운 강한 분류기가 된다(S413). 이러한 업데이트 과정은 제1 샘플과 제2 샘플에 대하여 수행한다. 이동 로봇은 분류기를 계속해서 업데이트하면서 목표물을 인식, 추적한다. 분류기를 생성하여 목표물을 인식, 추적하는 방식의 일 예로 온라인 부스팅(On-line Boosting) 알고리즘이 있다.The mobile robot first generates a classifier. In general, the mobile robot generates a classifier using the target recognized in the previous period (S410). That is, the mobile robot generates a classifier by designating a target recognized by using a user's designated or previous classifier as the first sample, and designating the same size area around the second sample as the second sample. The mobile robot can update the classifier in the manner shown in FIG. Initialize the importance lambda value to the sample added for update. In the process of recognizing the target, a new weak classifier h is selected through error prediction, and the weight α and the sample importance λ of the weak classifier are updated (S411 and S412). When the entire update process is completed, the cumulative sum of the products of the weak classifier and the weight becomes a new strong classifier (S413). This update process is performed on the first sample and the second sample. The mobile robot constantly updates the classifier and recognizes and tracks the target. An example of a method of generating a classifier to recognize and track a target is an online boosting algorithm.

이동 로봇은 일정 시간 주기마다 각각 영상 정보와 깊이 영상 정보를 검출한다. 이때, 도 4 또는 도 5에 도시한 바와 같이, 이동 로봇은 이전 시간 주기에서의 분류기를 이용한 목표물에 대한 인식 에러를 근거로 일정 시간 주기마다 분류기를 업데이트하고, 업데이트된 분류기를 이용하여 목표물을 추적한다. 이렇게 함으로써 이동 로봇은 목표물 인식 에러를 줄일 수 있고, 목표물을 정밀하게 추적할 수 있다.The mobile robot detects image information and depth image information at predetermined time periods, respectively. In this case, as shown in FIG. 4 or 5, the mobile robot updates the classifier at predetermined time periods based on the recognition error of the target using the classifier in the previous time period, and tracks the target using the updated classifier. do. By doing this, the mobile robot can reduce the target recognition error and can precisely track the target.

이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 이동 로봇 및 이동 로봇의 목표물 추적 방법은 영상 카메라를 통해 추출한 영상 정보에 목표물에 대한 관심 영역을 설정하여 목표물 인식의 정확성을 높인다. 본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있다. 이에 따라, 영상을 이용하여 목표물을 추적함에 있어서, 본 발명의 실시 예들은 연산량을 줄이고 연산 속도를 향상시키고, 인식 오차를 줄이며, 목표물을 실시간으로 추적할 수 있도록 한다.As described above, the mobile robot and the target tracking method of the mobile robot according to the embodiments of the present invention increase the accuracy of the target recognition by setting a region of interest for the target in the image information extracted through the image camera. Embodiments of the present invention can fuse the image camera technology and the three-dimensional depth sensor technology to accurately recognize and track the target. Accordingly, in tracking a target using an image, embodiments of the present invention reduce the amount of computation, improve the computation speed, reduce the recognition error, and track the target in real time.

100: 영상 카메라 200: 3차원 깊이 센서
300: 영역 설정 유닛 400: 목표물 인식 유닛
500: 구동 유닛 600: 저장 유닛
310: 기초 지도 생성부 320: 경계 지도 생성부
330: 관심 영역 설정부100: video camera 200: three-dimensional depth sensor
300: area setting unit 400: target recognition unit
500: drive unit 600: storage unit
310: basic map generator 320: boundary map generator
330: region of interest setting unit

Claims (13)

전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 카메라;
상기 일정 영역에 대한 깊이 영상 정보를 검출하는 3차원 깊이 센서;
상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 유닛; 및
상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 유닛;을 포함하는 이동 로봇.An image camera for photographing the front and extracting image information on a predetermined region;
A three-dimensional depth sensor detecting depth image information of the predetermined region;
A region setting unit that sets a region of interest on the predetermined region by using the depth image information; And
And a target recognition unit performing image processing on a portion corresponding to the ROI of the image information to recognize a target. 제1 항에 있어서, 상기 영역 설정 유닛은,
상기 깊이 영상 정보를 히스토그램으로 변환하고 변환된 정보를 이용하여 기초 지도를 생성하는 기초 지도 생성부;
상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 경계 지도 생성부; 및
상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 관심 영역 설정부;를 포함하는 것을 특징으로 하는 이동 로봇.The method of claim 1, wherein the area setting unit,
A basic map generator for converting the depth image information into a histogram and generating a basic map using the converted information;
A boundary map generator for generating a boundary map based on a change in a value in the depth image information; And
And a region of interest setting unit configured to set the region of interest by extending the base map to a boundary within the boundary map. 제2 항에 있어서, 상기 목표물 인식 유닛은,
상기 영상 정보를 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇.The method of claim 2, wherein the target recognition unit,
And performing the image processing using the classifier divided into the first sample including the target and the second sample having the same size as the first sample. 제3 항에 있어서, 상기 목표물 인식 유닛은,
상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇.The method of claim 3, wherein the target recognition unit,
And the image processing is performed on the portion of the image information corresponding to the ROI by using the classifier. 제3 항 또는 제4 항에 있어서,
상기 영상 카메라와 상기 3차원 깊이 센서는, 일정 시간 주기마다 각각 상기 영상 정보와 상기 깊이 영상 정보를 검출하고,
상기 목표물 인식 유닛은,
이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 상기 일정 시간 주기마다 상기 분류기를 업데이트하고, 상기 업데이트된 분류기를 이용하여 상기 목표물을 추적하는 것을 특징으로 하는 이동 로봇.The method according to claim 3 or 4,
The image camera and the 3D depth sensor detect the image information and the depth image information at predetermined time periods, respectively.
The target recognition unit,
And the classifier is updated at every predetermined time period based on a recognition error of the target using a classifier in a previous time period, and the target robot is tracked using the updated classifier. 제5 항에 있어서,
하나 이상의 바퀴에 연결되어 상기 바퀴를 구동하고, 상기 목표물을 추적하여 상기 이동 로봇을 이동시키는 구동 유닛;을 더 포함하는 이동 로봇.6. The method of claim 5,
And a driving unit connected to one or more wheels to drive the wheels and to track the target to move the mobile robot. 제1 항에 있어서, 상기 3차원 깊이 센서는,
발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보를 검출하는 것을 특징으로 하는 이동 로봇.The method of claim 1, wherein the three-dimensional depth sensor,
And a light emitting unit and a light receiving unit, and detecting the depth image information using infrared light. 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계;
상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계;
상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계; 및
상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계;를 포함하는 이동 로봇의 목표물 추적 방법.An image extraction step of capturing the front and extracting image information of a predetermined region;
A depth image detecting step of detecting depth image information of the predetermined region;
A region setting step of setting a region of interest on the predetermined region by using the depth image information; And
And a target recognition step of recognizing a target by performing image processing on a portion of the image information corresponding to the region of interest. 제8 항에 있어서, 상기 영역 설정 단계는,
상기 깊이 영상 정보를 히스토그램으로 변환하는 과정;
상기 히스토그램으로 변환된 정보를 이용하여 기초 지도를 생성하는 과정;
상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 과정; 및
상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 과정;을 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.The method of claim 8, wherein the area setting step comprises:
Converting the depth image information into a histogram;
Generating a base map using the information converted into the histogram;
Generating a boundary map based on a change in a value in the depth image information; And
And setting the region of interest by extending the base map to a boundary within the boundary map. 제9 항에 있어서, 상기 목표물 인식 단계는,
상기 영상 정보에 대하여 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 생성하는 과정; 및
상기 분류기를 이용하여 상기 영상 처리를 수행하는 과정;을 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.The method of claim 9, wherein the target recognition step comprises:
Generating a classifier divided into a first sample including the target and a second sample having the same size as the first sample with respect to the image information; And
And performing the image processing by using the classifier. 제10 항에 있어서, 상기 영상 처리를 수행하는 과정은,
상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.The method of claim 10, wherein the performing of the image processing comprises:
And performing the image processing using the classifier on a portion of the image information corresponding to the ROI. 제10 항 또는 제11 항에 있어서,
상기 영상 추출 단계와 상기 깊이 영상 검출 단계는, 일정 시간 주기로 수행되는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.The method according to claim 10 or 11,
The image extraction step and the depth image detection step, the target tracking method of a mobile robot, characterized in that performed at a predetermined time period. 제12 항에 있어서, 상기 목표물 인식 단계는,
이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 상기 일정 시간 주기마다 상기 분류기를 업데이트하는 과정; 및
상기 업데이트된 분류기를 이용하여 상기 목표물을 추적하는 과정;을 더 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.The method of claim 12, wherein the target recognition step,
Updating the classifier at every predetermined time period based on a recognition error of the target using the classifier in a previous time period; And
Tracking the target by using the updated classifier; target tracking method of a mobile robot further comprising.
KR1020110110153A 2011-10-26 2011-10-26 Mobile robot and method for tracking target of the same KR101371038B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110110153A KR101371038B1 (en) 2011-10-26 2011-10-26 Mobile robot and method for tracking target of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110110153A KR101371038B1 (en) 2011-10-26 2011-10-26 Mobile robot and method for tracking target of the same

Publications (2)

Publication Number Publication Date
KR20130045743A true KR20130045743A (en) 2013-05-06
KR101371038B1 KR101371038B1 (en) 2014-03-10

Family

ID=48657691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110110153A KR101371038B1 (en) 2011-10-26 2011-10-26 Mobile robot and method for tracking target of the same

Country Status (1)

Country Link
KR (1) KR101371038B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105974938A (en) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 Obstacle dodging method, obstacle dodging device, carrier and unmanned aerial vehicle
KR20170061373A (en) * 2015-11-26 2017-06-05 삼성전자주식회사 Mobile Robot And Method Thereof
WO2018186583A1 (en) * 2017-04-04 2018-10-11 엘지전자 주식회사 Method for identifying obstacle on driving ground and robot for implementing same
CN111358360A (en) * 2018-12-26 2020-07-03 珠海市一微半导体有限公司 Method and device for preventing robot from winding wire, chip and sweeping robot
WO2023038218A1 (en) * 2021-09-07 2023-03-16 삼성전자주식회사 Robot and method for controlling same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619076B1 (en) * 2009-08-25 2016-05-10 삼성전자 주식회사 Method of detecting and tracking moving object for mobile platform

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170061373A (en) * 2015-11-26 2017-06-05 삼성전자주식회사 Mobile Robot And Method Thereof
CN105974938A (en) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 Obstacle dodging method, obstacle dodging device, carrier and unmanned aerial vehicle
CN105974938B (en) * 2016-06-16 2023-10-03 零度智控（北京）智能科技有限公司 Obstacle avoidance method and device, carrier and unmanned aerial vehicle
WO2018186583A1 (en) * 2017-04-04 2018-10-11 엘지전자 주식회사 Method for identifying obstacle on driving ground and robot for implementing same
US11182625B2 (en) 2017-04-04 2021-11-23 Lg Electronics Inc. Method for identifying obstacle on driving ground and robot for implementing same
CN111358360A (en) * 2018-12-26 2020-07-03 珠海市一微半导体有限公司 Method and device for preventing robot from winding wire, chip and sweeping robot
CN111358360B (en) * 2018-12-26 2021-08-24 珠海市一微半导体有限公司 Method and device for preventing robot from winding wire, chip and sweeping robot
WO2023038218A1 (en) * 2021-09-07 2023-03-16 삼성전자주식회사 Robot and method for controlling same

Also Published As

Publication number Publication date
KR101371038B1 (en) 2014-03-10

Similar Documents

Publication Publication Date Title
JP7150773B2 (en) Mobile robot and its control method
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
CN110522359B (en) Cleaning robot and control method of cleaning robot
KR101776622B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
KR101784183B1 (en) APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF
JP4479372B2 (en) Environmental map creation method, environmental map creation device, and mobile robot device
CN108481327B (en) Positioning device, positioning method and robot for enhancing vision
KR101570377B1 (en) 3 Method for builing 3D map by mobile robot with a single camera
JP6977093B2 (en) How to control a mobile robot
KR101371038B1 (en) Mobile robot and method for tracking target of the same
CN106537186A (en) Systems and methods for performing simultaneous localization and mapping using machine vision systems
KR20180098891A (en) Moving Robot and controlling method
US11605244B2 (en) Robot for automatically following a person
KR101842459B1 (en) Robot cleaner and method for controlling the same
KR20190093800A (en) a Moving robot and Controlling method for the moving robot
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN108544494A (en) A kind of positioning device, method and robot based on inertia and visual signature
KR20190103511A (en) Moving Robot and controlling method
KR101965739B1 (en) Mobile robot and method for controlling the same
KR20190119234A (en) Moving Robot and controlling method
KR101956569B1 (en) Mobile robot and method for controlling the same
JP7354528B2 (en) Autonomous mobile device, method and program for detecting dirt on lenses of autonomous mobile device
KR102431986B1 (en) Robot Cleaner and Controlling method thereof
KR102048363B1 (en) A moving-robot
JP2022125319A (en) Autonomous mobile device, and dirt detection method and program for lens of autonomous mobile device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170113

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180112

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 6