KR20070036357A - Mobile robot capable of pose sensing with a single camera and method thereof - Google Patents

Mobile robot capable of pose sensing with a single camera and method thereof Download PDF

Info

Publication number
KR20070036357A
KR20070036357A KR1020050091295A KR20050091295A KR20070036357A KR 20070036357 A KR20070036357 A KR 20070036357A KR 1020050091295 A KR1020050091295 A KR 1020050091295A KR 20050091295 A KR20050091295 A KR 20050091295A KR 20070036357 A KR20070036357 A KR 20070036357A
Authority
KR
South Korea
Prior art keywords
coordinate system
robot
image
mobile robot
coordinates
Prior art date
Application number
KR1020050091295A
Other languages
Korean (ko)
Other versions
KR100703882B1 (en
Inventor
박창우
이종배
성하경
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020050091295A priority Critical patent/KR100703882B1/en
Publication of KR20070036357A publication Critical patent/KR20070036357A/en
Application granted granted Critical
Publication of KR100703882B1 publication Critical patent/KR100703882B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단일 카메라 기반 포즈인식이 가능한 이동로봇 및 그 방법에 관한 것이다. 본 발명에 따르면, 바닥면에 부착된 적어도 두 개의 이정표를 하나의 카메라를 통해 인식하고, 이정표로부터 해당 지점의 절대좌표와 이동로봇 자신의 좌표계상의 좌표를 구함으로써 자신의 좌표계 원점의 절대좌표와 그 회전 정도로 표시되는 이동로봇의 포즈를 구한다. 이에 따라 이동로봇은 하나의 카메라만을 사용하여 자신의 포즈를 인식할 수 있으며, 3차원 좌표를 추출하기 위한 고가의 공간센서 및 복수의 카메라나 그에 따른 설계의 복잡과 처리할 데이터의 크기에 대한 부담을 해소할 수 있고, 이동로봇의 포즈인식 처리속도를 더욱 높일 수 있다.The present invention relates to a mobile robot capable of single camera-based pose recognition and a method thereof. According to the present invention, at least two milestones attached to the bottom surface are recognized by one camera, and the absolute coordinates of the corresponding point and the absolute coordinates of the origin of the own coordinate system and its coordinates are obtained by obtaining the absolute coordinates of the corresponding point and the coordinates of the mobile robot's own coordinates from the milestones. Find the pose of the mobile robot displayed by the degree of rotation. As a result, the mobile robot can recognize its own pose using only one camera, an expensive spatial sensor for extracting three-dimensional coordinates, a plurality of cameras, and the complexity of the design and the size of data to be processed. It can solve the problem, and can increase the processing speed of the pose recognition of the mobile robot.

이동로봇, Localization, Navigation, pose, 포즈인식, 위치인식, 카메라, 영상좌표 Mobile Robot, Localization, Navigation, pose, Pose Recognition, Position Recognition, Camera, Image Coordinate

Description

단일 카메라 기반 포즈인식이 가능한 이동로봇 및 그 방법{Mobile robot capable of pose sensing with a single camera and method thereof}Mobile robot capable of pose sensing with a single camera and method

도 1은 본 발명에 따른 이동로봇의 동작 설명에 제공되는 도면,1 is a view provided for explaining the operation of a mobile robot according to the present invention;

도 2는 본 발명에 따른 단일 카메라 기반 위치인식이 가능한 이동로봇의 블록도,2 is a block diagram of a mobile robot capable of recognizing a single camera based on the present invention;

도 3은 본 발명의 일 실시 예에 따른 이동로봇의 포즈인식 방법의 설명에 제공되는 흐름도,3 is a flowchart provided to explain a pose recognition method of a mobile robot according to one embodiment of the present invention;

도 4는 이정표 지점의 영상좌표로부터 로봇좌표를 구하는 방법의 설명에 제공되는 도면,4 is a view provided for explaining a method of obtaining a robot coordinate from an image coordinate of a milestone point;

도 5는 이정표 지점의 로봇좌표 중 yr를 구하는 방법의 설명에 제공되는 로봇좌표계의 일부를 도시한 도면, 그리고FIG. 5 is a diagram showing a part of a robot coordinate system provided for explaining a method of obtaining y r among robot coordinates of a milestone point; and

도 6은 전역좌표계상에서 이동로봇의 포즈를 나타낸 도면이다.6 is a diagram illustrating a pose of a mobile robot in a global coordinate system.

본 발명은 이동 로봇(Robot)의 포즈 인식에 관한 것으로, 특히 하나의 카메라를 통해 바닥면의 이정표를 인식함으로써 평면상에서 자신의 위치 및 회전 여부를 인식할 수 있는 단일 카메라 기반 포즈(pose)인식이 가능한 이동로봇 및 그 방법에 관한 것이다. The present invention relates to pose recognition of a mobile robot, and in particular, a single camera-based pose recognition capable of recognizing its position and rotation on a plane by recognizing a milestone of a floor surface through one camera. The present invention relates to a mobile robot and a method thereof.

이동로봇은 고정된 위치가 아닌 공간을 스스로 움직이면서 주어진 작업을 수행한다. 이동로봇은 제품 생산에 필요한 부품이나 작업 도구 등을 필요한 위치로 옮기며, 옮긴 부품 등을 조립하여 제품을 생산하는 작업도 수행할 수도 있다. 근래에는 산업 분야뿐만 아니라 가정에서의 이동로봇의 활용 예가 많이 발표되고 있다. 가정에서는 이동로봇에게 청소를 시키거나, 물건을 옮기도록 한다.A mobile robot performs a given task by moving itself in space rather than in a fixed position. The mobile robot moves the parts and work tools necessary for the production of the product to the required position, and may also assemble the moved parts to produce the product. Recently, many examples of the use of mobile robots in homes as well as in industrial fields have been published. At home, have your mobile robot cleaned or moved.

고정된 위치가 아닌 공간을 스스로 움직이면서 주어진 작업을 수행하는 이동로봇에 대한 네비게이션(Navigation) 연구는 다양하게 이루어지고 있다. There are various researches on navigation of mobile robots that perform a given task by moving a space by themselves instead of a fixed position.

이동로봇이 특정한 목표점을 찾아가거나, 소정의 공간 내를 이동하면서 자신이 이동한 위치를 인식하고 소정의 목적된 작업을 수행하기 위해서는 여러 가지 기능을 갖추어야 할 것이다. 그러한 기능으로는 장애물 피하기, 특정 지표나 자신의 현재 포즈인식 및 경로계획(Path Planning) 등이 있다. In order for the mobile robot to search for a specific target point or to move within a predetermined space, to recognize the location of the mobile robot and to perform a predetermined purpose, various functions must be provided. Such features include avoiding obstacles, identifying specific indicators or your current pose and path planning.

가정에서 바닥면을 따라 이동하면서 바닥면을 청소하는 청소용 지능형 이동로봇의 경우라면, 정확한 포즈인식은 무엇보다 중요할 것이다. 여기서, 포즈란 자신의 위치(Localization) 및 회전정도(Rotation)을 포함한다.In the case of an intelligent mobile robot that cleans the floor while moving along the floor at home, accurate pose recognition will be important. Here, the pose includes its localization and rotation.

종래에 지표의 3차원 좌표를 추출하기 위해 음향탐지장치(소나, sonar), 레 이저(laser) 및 스테레오 카메라(Stereo Camera)와 같은 공간센서를 사용한다. 이 중에서도 카메라 기반의 이동로봇의 포즈인식은 주로 스테레오 카메라를 사용하여 지표의 3차원 좌표를 추출하였다. Conventionally, a spatial sensor such as an acoustic detector (sonar, sonar), a laser (laser) and a stereo camera is used to extract three-dimensional coordinates of the surface. Among these, the pose recognition of the camera-based mobile robot mainly extracted the three-dimensional coordinates of the surface using a stereo camera.

로봇의 포즈추정을 위하여, 이동로봇은 센서정보와 함께 로봇 휠(wheel)의 변위를 측정하기 위해 기하학적 데이터(odometry data)를 동시에 사용하여 로봇의 위치를 추정하는 알고리즘이 사용되었다.In order to estimate the pose of the robot, the mobile robot uses an algorithm that estimates the position of the robot using geometric data simultaneously to measure the displacement of the robot wheel along with the sensor information.

이와 같이, 종래의 이동로봇의 포즈인식은 필수적으로 지표의 3차원 좌표 추출이 우선되므로, 고가의 공간센서를 필요로 하였다. 나아가 기하학적 데이터를 센서 정보와 함께 사용하기 때문에, 인코더(encoder)와 같은 부품 및 이를 위한 신호처리 알고리즘이 부가적으로 필요하였다.As such, the pose recognition of the conventional mobile robot essentially requires the extraction of three-dimensional coordinates of the surface, and thus requires an expensive spatial sensor. Furthermore, since geometric data is used together with sensor information, components such as encoders and signal processing algorithms for them are additionally needed.

따라서, 본 발명의 목적은 하나의 카메라를 통해 바닥면의 이정표를 인식함으로써 평면상에서 자신의 위치 및 회전 정도를 인식할 수 있는 단일 카메라 기반 포즈(pose)인식이 가능한 이동로봇 및 그 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a mobile robot and a method capable of recognizing a single camera-based pose capable of recognizing its position and rotation degree on a plane by recognizing a milestone of a floor through one camera. have.

상기 목적을 달성하기 위해 본 발명에 따라, 소정 평면인 바닥면 상에 기 설정된 적어도 2차원의 좌표계인 전역좌표계 상에서, 자신의 위치를 원점으로 하는 좌표계인 로봇좌표계의 상기 원점의 전역좌표 및 회전 정도를 나타내는 포즈(pose) 인식이 가능한 이동 로봇(robot)은, 상기 바닥면의 임의 지점에 부착되고 상기 지점의 전역좌표를 포함하는 정보가 시각적으로 표시된 복수 개의 이정표, 단일 카메라, 영상처리부 및 제어부를 포함한다. In order to achieve the above object, according to the present invention, the global coordinates and the degree of rotation of the origin of the robot coordinate system which is a coordinate system whose position is the origin on a global coordinate system which is a preset at least two-dimensional coordinate system on the floor plane A mobile robot capable of recognizing a pose may include a plurality of milestones, a single camera, an image processor, and a controller, which are attached to an arbitrary point on the bottom surface and visually display information including global coordinates of the point. Include.

카메라는 상기 이동로봇에 고정 설치되어 적어도 두 개의 상기 이정표를 포함하는 이미지를 생성하여 출력하고, 영상처리부는 수신한 상기 이미지에 포함된 이정표 이미지로부터 상기 이정표 지점의 전역좌표를 추출한다. 제어부는 상기 로봇좌표계에서 상기 이정표 지점이 인식되는 기하학적 관계를 기초로 계산한 상기 이정표 지점의 로봇좌표와 상기 이정표 지점의 전역좌표 사이의 관계를 계산함으로써 상기 포즈를 계산한다.The camera is fixed to the mobile robot to generate and output an image including at least two milestones, and the image processor extracts the global coordinates of the milestone points from the milestone images included in the received image. The controller calculates the pose by calculating a relationship between the robot coordinates of the milestone point and the global coordinates of the milestone point calculated based on the geometric relationship in which the milestone points are recognized in the robot coordinate system.

상기 카메라는, 소정의 각도를 가지고 상기 바닥면을 향하게 상기 이동로봇의 전면에 설치되고, 상기 이동로봇의 주행방향 및 상기 카메라의 주시 방향이 서로 일치하는 것이 바람직하다.The camera is installed on the front of the mobile robot at a predetermined angle toward the bottom surface, it is preferable that the running direction of the mobile robot and the direction of the camera's gaze coincide with each other.

상기 이정표는, 상기 지점의 전역좌표를 포함하는 정보를 표시함에 있어 바 코드(bar code), 일련의 아라비아 숫자, 문자 중 적어도 어느 하나로 표시하는 것이 바람직하다.The milestone is preferably at least one of a bar code, a series of Arabic numerals, and a character in displaying information including the global coordinates of the point.

일 실시 예로 상기 영상처리부는, 상기 이미지상에 적용된 2차원 좌표계인 영상좌표계상의 상기 이정표 이미지의 영상좌표를 추출하여 상기 제어부로 출력하고, 상기 제어부는 3차원인 상기 로봇좌표계와 상기 영상좌표계 사이의 기 설정된 기하학적 관계를 기초로 상기 이정표 지점의 로봇좌표를 계산한다.In an embodiment, the image processor extracts the image coordinates of the milestone image on the image coordinate system, which is a two-dimensional coordinate system applied to the image, and outputs the image coordinates to the controller, wherein the controller is a three-dimensional image between the robot coordinate system and the image coordinate system. The robot coordinates of the milestone point are calculated based on a predetermined geometric relationship.

여기서, 상기 로봇좌표계는, 상기 원점을 지나고, 상기 이동로봇의 주행방향 및 상기 주행방향에 수직인 방향과 일치하는 상기 바닥면 상의 두 개의 축 및 상기 두 개 축에 서로 직교하는 다른 일 축으로 형성되며, 상기 로봇좌표계의 상기 주행방향에 수직인 축과 상기 영상좌표계의 일 축이 서로 평행이다.Here, the robot coordinate system is formed by two axes on the bottom surface and the other axis orthogonal to each other and the two axes on the bottom surface coincide with the traveling direction of the mobile robot and the direction perpendicular to the traveling direction after passing through the origin. An axis perpendicular to the traveling direction of the robot coordinate system and one axis of the image coordinate system are parallel to each other.

상기 이정표 지점의 전역좌표 및 상기 이정표 지점의 로봇좌표의 관계가 다음의 수학식으로 표현되는 경우, 상기 포즈는 상기 로봇좌표계 원점의 전역좌표 (PX, PY)가 되고, 상기 전역좌표계에 대해 θ만큼 회전한 상태가 된다.When the relationship between the global coordinates of the milestone point and the robot coordinates of the milestone point is expressed by the following equation, the pose becomes the global coordinates (P X , P Y ) of the origin of the robot coordinate system, and with respect to the global coordinate system. The state is rotated by θ.

Figure 112005055177318-PAT00001
Figure 112005055177318-PAT00001

여기서, 상기 이정표 지점의 전역좌표는 (xw, yw), 로봇좌표는 (xr, yr)이다.Here, the global coordinate of the milestone point is (x w , y w ), and the robot coordinate is (x r , y r ).

본 발명의 다른 실시 예는, 상기 제어부의 제어명령에 따라 상기 이동로봇이 주행하도록 제어하는 구동부를 더 포함하고, 상기 제어부는 상기 이동로봇의 주행 중에 주기적 및 비주기적 간격 중 적어도 하나로 상기 포즈를 계산하고, 상기 계산된 포즈를 기초로 상기 이동로봇이 주행하도록 상기 구동부에 상기 제어명령을 전달한다.According to another embodiment of the present invention, the controller may further include a driving unit configured to control the mobile robot to travel according to a control command of the controller, wherein the controller calculates the pose by at least one of periodic and aperiodic intervals while the mobile robot is traveling. The control command is transmitted to the driving unit so that the mobile robot travels based on the calculated pose.

나아가, 공기를 흡입하면서 대향되는 상기 바닥면의 먼지를 집진하는 흡진장치를 더 포함하여 상기 바닥면을 청소할 수 있다.Furthermore, the bottom surface may be cleaned by further including a dust collecting device for collecting dust on the bottom surface facing the air while inhaling air.

본 발명의 또 다른 실시 예에 따른, 소정 평면인 바닥면 상에 기 설정된 적어도 2차원의 좌표계인 전역좌표계 상에서, 자신의 위치를 원점으로 하는 좌표계인 로봇좌표계의 상기 원점의 전역좌표 및 회전 정도를 나타내는 이동 로봇의 포즈 인식방법은, 이미지를 생성하는 단계, 전역좌표를 추출하는 단계 및 포즈를 계산하는 단계를 포함한다. According to another embodiment of the present invention, the global coordinates and the degree of rotation of the origin of the robot coordinate system which is a coordinate system whose origin is the coordinates on the global coordinate system which is a preset at least two-dimensional coordinate system on the floor plane which is a predetermined plane The pose recognition method of the mobile robot shown includes generating an image, extracting global coordinates, and calculating a pose.

상기 이미지를 생성하는 단계는 상기 이동로봇 상에 고정된 카메라를 이용하여, 상기 바닥면의 임의 지점에 부착되고 상기 지점의 전역좌표를 포함하는 정보가 시각적으로 표시된 복수 개의 이정표 중 적어도 두 개의 상기 이정표를 포함하는 이미지를 생성한다.The generating of the image may include at least two of the milestones of a plurality of milestones visually displayed with information including a global coordinate of the point and attached to an arbitrary point on the bottom surface by using a camera fixed on the mobile robot. Create an image that includes.

상기 전역좌표를 추출하는 단계는 상기 이미지에 포함된 이정표 이미지로부터 상기 이정표 지점의 전역좌표를 추출한다.Extracting the global coordinates extracts the global coordinates of the milestone point from the milestone image included in the image.

또한, 상기 포즈를 계산하는 단계는, 상기 로봇좌표계에서 상기 이정표 지점이 인식되는 기하학적 관계를 기초로 계산한 상기 이정표 지점의 로봇좌표와 상기 이정표 지점의 전역좌표 사이의 관계를 계산함으로써, 상기 포즈를 계산한다.The calculating of the pose may include calculating the pose by calculating a relationship between the robot coordinates of the milestone points and the global coordinates of the milestone points calculated based on a geometric relationship in which the milestone points are recognized in the robot coordinate system. Calculate

본 발명은 방법, 장치 및 시스템으로 구현될 수 있다. 이하에서는, 도면을 참조하여 본 발명을 상세히 설명한다.The invention can be implemented with methods, apparatus and systems. Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명에 따른 이동로봇의 동작 설명에 제공되는 도면이다.1 is a view provided for explaining the operation of the mobile robot according to the present invention.

도 1을 참조하면, 본 발명의 이동로봇(200)은 평면인 바닥면을 따라 소정의 방법으로 이동할 수 있으며, 카메라(203)를 하나만 구비하여 자신의 포즈(pose)를 인식할 수 있다. 포즈란 자신의 위치 및 회전 정도를 말하며, 여기서 위치란 소정 절대좌표계 상의 좌표를 말한다.Referring to FIG. 1, the mobile robot 200 of the present invention may move in a predetermined manner along a flat bottom surface, and may include its own camera 203 to recognize its pose. A pose refers to its position and degree of rotation, where the position refers to a coordinate on a given absolute coordinate system.

이동로봇(200)은 먼저 카메라(203)을 통해 자신의 전방에 위치한 특정 지점 의 절대좌표를 추출한다. 이후에 이동로봇(200)은 자신의 관점(자신의 현재 위치를 원점으로 하는 좌표계)에서 해당 특정 지점이 인식되는 기하학적 관계를 기초로, 추출한 특정 지점의 절대좌표로부터 자신의 관점(좌표계)과 절대좌표계의 관계를 파악함으로써 자신의 포즈를 계산한다. 다시 말해, 이동로봇(200)의 포즈는 절대좌표계상에서 자신의 좌표계의 원점의 위치 및 회전 정도가 된다. The mobile robot 200 first extracts the absolute coordinates of a specific point located in front of itself through the camera 203. Subsequently, the mobile robot 200 based on the geometric relationship in which the specific point is recognized in its viewpoint (coordinate system whose origin is the current position), and the absolute point of view (coordinate system) and absolute from the absolute coordinates of the extracted specific point. Calculate your pose by knowing the relationship of the coordinate system. In other words, the pose of the mobile robot 200 is the position and rotation degree of the origin of its coordinate system on the absolute coordinate system.

이하에서는 본 발명의 적절한 설명을 위해 사용되는 각종 좌표계를 간단히 설명한다. 본 발명에서는 전역좌표계, 영상좌표계 및 로봇좌표계를 포함하는 3가지 좌표계를 사용한다. Hereinafter, various coordinate systems used for proper description of the present invention will be briefly described. In the present invention, three coordinate systems including a global coordinate system, an image coordinate system, and a robot coordinate system are used.

전역좌표계는 기 설정된 원점을 기준으로 하는 절대 좌표로써, 이동로봇(200)은 본 발명의 방법을 통해 자신의 전역좌표를 구하고 이에 따라 자신의 포즈를 인식한다. 도 1에서 전역좌표계는 각각 XW, YW 및 ZW를 각 축으로 하여 표시된다. The global coordinate system is an absolute coordinate based on a preset origin, and the mobile robot 200 obtains its global coordinate through the method of the present invention and recognizes its pose accordingly. In FIG. 1, the global coordinate system is X W , Y W , respectively. And Z W as each axis.

영상좌표계는 이동로봇(200)의 카메라(203)가 생성한 이미지에서의 소정 위치를 원점으로 설정한 좌표로써 기본적으로 2차원 좌표로 충분하다. 따라서, 영상좌표계는 카메라(203)의 촬상면(미도시)에 포함되고 서로 수직인 두 개의 선에 의해 이루어진다. 이 경우, 촬상면(미도시)이 향하는 방향은 이동로봇(200)의 주행방향과 일치한다.The video coordinate system is a coordinate set by setting a predetermined position in the image generated by the camera 203 of the mobile robot 200 as an origin, and basically two-dimensional coordinates are sufficient. Accordingly, the image coordinate system is formed by two lines included in the imaging surface (not shown) of the camera 203 and perpendicular to each other. In this case, the direction that the imaging surface (not shown) faces corresponds to the traveling direction of the mobile robot 200.

다만, 적절한 설명을 위해 3차원 좌표계를 사용할 경우, 촬상면(미도시)상의 두 개의 선과 상기 두 개 선의 교차점을 지나고 촬상면(미도시)에 수직인 선에 의해 형성되는 좌표계를 사용할 수 있으며, 도 1에서 영상좌표계는 각각 XI, YI 및 ZI 를 각 축으로 하여 표시하였다.However, when a three-dimensional coordinate system is used for proper explanation, a coordinate system formed by a line perpendicular to the imaging surface (not shown) passing through two lines on the imaging surface (not shown) and the two lines may be used. In the video coordinate system, X I and Y I And Z I are represented by each axis.

영상좌표계는 이동로봇(200)에 고정 설치된 카메라(203)의 위치와 이동로봇(200)의 이동에 따라 상기 전역좌표계와의 대응관계가 변한다. 다만, 카메라(203)와 이동로봇(200)의 상대적인 위치가 고정되어 있으므로, 아래에서 설명되는 로봇좌표계와 영상좌표계는 고정된 대응관계를 가지게 된다. The video coordinate system changes in correspondence with the global coordinate system according to the position of the camera 203 fixed to the mobile robot 200 and the movement of the mobile robot 200. However, since the relative positions of the camera 203 and the mobile robot 200 are fixed, the robot coordinate system and the image coordinate system described below will have a fixed correspondence.

로봇좌표계는 이동로봇(200)의 소정 부분을 원점으로 하는 이동로봇(200) 자신의 좌표계로써 이동로봇(200)의 주행에 따라 전역좌표계와 로봇좌표계의 대응관계는 변하게 된다. The robot coordinate system is a coordinate system of the mobile robot 200 which has a predetermined portion of the mobile robot 200 as its origin, and the corresponding relationship between the global coordinate system and the robot coordinate system changes according to the traveling of the mobile robot 200.

바람직하게는 로봇좌표계의 일 축을 이동로봇(200)의 주행 방향으로 한다. 도 1에서 로봇좌표계는 각각 XR, YR 및 ZR를 각 축으로 하여 표시된다. 그러나, 로봇좌표계의 일 축이 반드시 주행방향일 필요는 없으며, 그에 따른 영상좌표계 및 전역좌표계와의 대응관계를 조정해 주면 된다. Preferably, one axis of the robot coordinate system is a driving direction of the mobile robot 200. In Figure 1, the robot coordinate system is X R , Y R , respectively. And Z R as each axis. However, one axis of the robot coordinate system does not necessarily have to be the driving direction, and the corresponding relationship between the image coordinate system and the global coordinate system may be adjusted accordingly.

전역좌표계, 로봇좌표계 및 영상좌표계의 상관관계는 위에서 설명한 바와 같다. 정리하면, 로봇좌표계와 영상좌표계가 소정의 고정된 대응관계를 가지며, 전역좌표계 상에서 변하게 된다. The correlation between the global coordinate system, the robot coordinate system and the image coordinate system is as described above. In summary, the robot coordinate system and the image coordinate system have a predetermined fixed correspondence and are changed on the global coordinate system.

바닥면 상에 포함되는 로봇좌표계의 일 축과 영상좌표계의 일 축은 평행인 것이 바람직하다. 그러나 이에 한정되지 아니한다. 로봇좌표계와 영상좌표계의 기하학적 대응관계를 조정해 주면 된다. One axis of the robot coordinate system included on the bottom surface and one axis of the image coordinate system are preferably parallel. However, it is not limited thereto. The geometric correspondence between the robot coordinate system and the image coordinate system can be adjusted.

나아가 바닥면 상에 포함되는 로봇좌표계의 일 축은 이동로봇(200)의 주행방 향과 일치하는 것이 바람직하다. 그러나 이에 한정되지 아니하며, 계산된 포즈를 이용한 이동로봇(200)의 주행 알고리즘만을 보상해 주면 된다.Furthermore, one axis of the robot coordinate system included on the bottom surface preferably coincides with the traveling direction of the mobile robot 200. However, the present invention is not limited thereto, and only the driving algorithm of the mobile robot 200 using the calculated pose may be compensated.

본 발명의 설명의 편리를 위해, 이하에서는 로봇좌표계의 XR 및 YR가 형성하는 평면과 전역좌표계의 XW 및 YW가 형성하는 평면이 서로 평행이다. 또한, 로봇좌표계의 XR과 영상좌표계의 XI는 서로 평행이며, 로봇좌표계의 YR 및 ZR가 생성하는 평면과 영상좌표계의 YI 및 ZI가 생성하는 평면은 서로 평행이다. For convenience of explanation of the present invention, hereinafter, X R of the robot coordinate system And X W of the global coordinate system and the plane formed by Y R And planes formed by Y W are parallel to each other. In addition, X R of the robot coordinate system and X I of the image coordinate system are parallel to each other, and Y R of the robot coordinate system is parallel to each other. And Z R are the Y plane and the image coordinate system to generate I And the planes generated by Z I are parallel to each other.

이동로봇(200)은 자신의 위치 즉, 로봇좌표계의 원점이 전역좌표계상 어디에 위치하고, 로봇좌표계상의 일 축이 전역좌표계상의 일 축에서 얼마만큼 회전되어 있는 지를 판단함으로써 자신의 포즈를 인식한다. The mobile robot 200 recognizes its position by determining where its origin, that is, the origin of the robot coordinate system, is located in the global coordinate system, and how much of one axis in the robot coordinate system is rotated in one axis of the global coordinate system.

이를 위하여, 이동로봇(200)은 카메라(203)를 이용하여, 바닥면에 표시된 적어도 두 개의 '이정표'를 읽어 자신의 포즈를 인식한다. 이정표란, 그 표시된 해당 바닥면 위치의 좌표를 가진 표지로써, 바닥면에 부착되거나 인쇄된 것을 말한다. 도 1에서는 바닥면의 두 지점 A, B에 이정표가 표시되어 있다.To this end, the mobile robot 200 recognizes its own pose by reading at least two 'signals' displayed on the floor using the camera 203. A milestone is a marker that has the coordinates of its marked bottom position, attached to or printed on the bottom. In FIG. 1, milestones are marked at two points A and B on the bottom surface.

이정표는 소정 개수가 소정의 간격으로 부착, 인쇄 등을 포함하는 방법으로 바닥면에 표시되며, 카메라(203)를 통해 적어도 두 개가 읽혀지도록 표시되어야 한다. 이정표는 다양한 방법으로 자신의 전역좌표에 대한 정보를 가지며, 그 방법은 바코드(bar code), 일련의 아라비아 숫자 또는 문자와 같이 시각적으로 인식가능하게 표시되는 방법이 해당할 수 있다. The milestones are displayed on the bottom surface in such a manner that the predetermined number includes attachment, printing, etc. at predetermined intervals, and should be displayed so that at least two are read through the camera 203. The milestone has information about its global coordinates in various ways, and the method may correspond to a method that is visually recognizable such as a bar code, a series of Arabic numerals or letters.

이동로봇(200)에 부착되는 카메라(203)는 바닥면에 대하여 소정의 각도를 가 지고 고정되어 있으면서, 바닥면에 있는 적어도 두 개의 이정표의 전역좌표를 읽어 오고, 이정표의 해당 전역좌표가 로봇좌표계상의 어디에 위치하는 지를 판단함으로써 전역좌표계상에서 로봇좌표계의 원점의 전역좌표 및 회전 정도를 판단한다. The camera 203 attached to the mobile robot 200 is fixed at a predetermined angle with respect to the floor surface, and reads the global coordinates of at least two milestones on the floor surface, and the corresponding global coordinates of the milestones are robot coordinate systems. By determining where the image is located, the global coordinate and the degree of rotation of the origin of the robot coordinate system in the global coordinate system are determined.

이러한 방법을 통해, 이동로봇(200)은 비교적 작은 개 수의 이정표를 표시하더라도 자신의 포즈를 인식할 수 있으며, 일정 공간 내에 표시되는 이정표의 수는 이동로봇(200)상에 설치된 카메라(203)의 높이 및 각도에 따라 달라질 수 있다.Through this method, the mobile robot 200 can recognize its own pose even if it displays a relatively small number of milestones, and the number of milestones displayed in the predetermined space is the camera 203 installed on the mobile robot 200. Can vary depending on the height and angle.

이하에서는 도 2를 참조하여 이동로봇(200)의 각 부분을 설명한다.Hereinafter, each part of the mobile robot 200 will be described with reference to FIG. 2.

도 2는 본 발명에 따른 단일 카메라 기반 위치인식이 가능한 이동로봇의 블록도이다. 2 is a block diagram of a mobile camera capable of position recognition based on a single camera according to the present invention.

이하에서는 본 발명의 적절한 설명을 위해 두 개의 이정표를 이용하는 방법을 설명하며, 이를 위해 도 1의 A 및 B의 위치에 표시된 두 개의 이정표가 카메라(203)를 통해 동시에 읽혀진다고 가정한다. Hereinafter, a method of using two milestones for proper description of the present invention will be described. For this purpose, it is assumed that two milestones marked at positions A and B of FIG. 1 are simultaneously read through the camera 203.

도 2를 참조하면, 이동로봇(200)은 센서(sensor)부(201), 카메라(camera)(203), 영상처리부(205), 구동부(207), 저장매체(209), 제어부(211) 및 사용자인터페이스부(213)를 포함한다. 2, the mobile robot 200 includes a sensor 201, a camera 203, an image processor 205, a driver 207, a storage medium 209, and a controller 211. And a user interface unit 213.

도 2의 이동로봇(200)은 본 발명의 이동로봇의 기본적인 구성만을 도시하였으며, 이동로봇의 역할에 따른 각종 구성을 생략하였다. 예를 들어, 청소용 이동로봇인 경우라면, 공기를 흡입하면서 대향되는 바닥의 먼지를 집진하는 흡진장치(미도시)를 구비하고 제어부(211)의 제어를 받을 수 있다. The mobile robot 200 of FIG. 2 illustrates only a basic configuration of the mobile robot of the present invention, and omits various configurations according to the role of the mobile robot. For example, in the case of a mobile robot for cleaning, a dust collecting device (not shown) for collecting dust on the opposite floor while inhaling air may be controlled by the controller 211.

센서부(201)는 각종의 센서가 포함되며 장애물 감지 및 주행거리 검출 등의 작업을 위한 정보를 생성한다. 센서부(201)에 포함되는 센서로는, 외부로 신호를 송출하여 반사된 신호를 수신함으로써 장애물을 검출하는 장애물 검출 센서와, 주행거리를 측정할 수 있는 주행거리 검출센서가 해당할 수 있다.The sensor unit 201 includes various sensors and generates information for tasks such as obstacle detection and mileage detection. Examples of the sensor included in the sensor unit 201 may include an obstacle detecting sensor that detects an obstacle by transmitting a signal to the outside and receiving a reflected signal, and a traveling distance detecting sensor capable of measuring a driving distance.

카메라(203)는 도 1의 예처럼, 카메라(203) 전방의 이미지를 촬상할 수 있도록 바닥면에 대하여 고정된 각도로 이동로봇(200)에 설치되며, 바람직하게는 전역좌표계 XW, YW 평면상에 투영된 이동로봇(203)의 주행 방향과 카메라(200)의 주시 방향이 일치하도록 이동로봇(200)의 전면에 설치된다. 그러나, 카메라(203)가 전면에 설치되지 않거나 주행방향과 주시방향이 일치하지 않더라도 촬상된 이미지로부터 이동로봇(200)의 포즈를 계산하는 전반적인 알고리즘은 동일하며, 다만 계산된 포즈에 따라 이동로봇(200)의 이동을 제어하는 알고리즘이 달라질 수 있다.The camera 203 is installed in the mobile robot 200 at a fixed angle with respect to the floor surface so as to capture an image in front of the camera 203 as in the example of FIG. 1, and preferably the global coordinate system X W , Y W. The mobile robot 200 is installed on the front surface of the mobile robot 200 so that the traveling direction of the mobile robot 203 projected on the plane coincides with the gaze direction of the camera 200. However, the overall algorithm for calculating the pose of the mobile robot 200 from the captured image is the same even if the camera 203 is not installed in the front or the driving direction and the viewing direction do not coincide. The algorithm for controlling the movement of 200 may vary.

카메라(203)가 설치되는 소정 각도에 따라 하나의 이미지로 생성될 수 있는 바닥면의 넓이가 달라지므로, 바닥에 표시되어야 하는 이정표의 수가 달라질 수 있다. Since the width of the bottom surface that can be generated as one image varies depending on a predetermined angle at which the camera 203 is installed, the number of milestones to be displayed on the floor may vary.

카메라(203)는 이동로봇(200)의 이동에 따라 바닥면으로부터 적어도 두 개의 이정표를 포함하는 이미지를 생성한다. 따라서, 카메라(203)는 A, B에 표시된 이정표가 포함된 이미지를 영상처리부(205)로 전달한다.The camera 203 generates an image including at least two milestones from the bottom surface according to the movement of the mobile robot 200. Therefore, the camera 203 transmits the image including the milestones indicated by A and B to the image processor 205.

영상처리부(205)는 카메라(203)로부터 수신한 이미지로부터 A, B에 표시된 이정표의 이미지를 추출하고, 추출한 이정표의 이미지로부터 해당 바닥 지점 A, B의 전역좌표를 추출한다. 또한, 영상처리부(205)는 수신한 이미지에서의 A, B 지점 의 영상좌표를 추출한다. 영상처리부(205)가 카메라(203)로부터 수신한 이미지에서 전역좌표를 추출하는 방법 및 영상좌표를 추출하는 방법은 본 발명의 기술분야 및 영상처리분야에서 이미 알려진 기술을 사용할 수 있다.The image processor 205 extracts the image of the milestones indicated by A and B from the image received from the camera 203, and extracts the global coordinates of the bottom points A and B from the extracted image of the milestone. In addition, the image processor 205 extracts image coordinates of A and B points in the received image. The method of extracting the global coordinates from the image received from the camera 203 and the method of extracting the image coordinates by the image processor 205 may use techniques known in the art and the image processing field of the present invention.

영상처리부(205)는 추출한 A,B 지점의 영상좌표 및 전역좌표를 제어부(211)로 출력한다.The image processor 205 outputs the extracted image coordinates and global coordinates of the A and B points to the controller 211.

구동부(207)는 제어부(211)의 명령에 따라 이동로봇(200)이 이동하도록 제어한다. 구동부(207)는 바퀴를 각각 회전 구동시키는 모터(미도시)와 모터에 의해 발생하는 동력을 전달하는 동력전달수단(미도시)을 포함한다. 구동부(207)는 제어부(211)의 제어명령에 따라 각 모터를 제어함으로써 전진, 후진 및 방향전환 등을 포함하는 동작을 수행한다.The driving unit 207 controls the mobile robot 200 to move according to the command of the controller 211. The driving unit 207 includes a motor (not shown) for rotating the wheels, respectively, and a power transmission unit (not shown) for transmitting power generated by the motor. The driving unit 207 controls the respective motors according to the control command of the control unit 211 to perform an operation including forward, backward and direction change.

저장매체(209)는 소정의 활성 및 비활성 메모리(memory), 기타 하드 디스크(hard disk)가 해당하며, 제어부(211)의 동작에 관한 각종 프로그램이 저장되거나, 전역좌표계에 관한 정보, 전역좌표를 중심으로 하는 작업공간의 지도정보 및 주행 중 계산한 포즈정보를 저장할 수 있다.The storage medium 209 corresponds to predetermined active and inactive memory and other hard disks, and various programs related to the operation of the control unit 211 are stored, information about the global coordinate system, and global coordinates. Map information of the workspace and the pose information calculated while driving can be stored.

제어부(211)는 전진, 후진 및 회전을 포함하는 이동로봇(200)의 전반적인 동작을 제어함과 동시에, 사용자인터페이스부(213)를 통해 사용자로부터 소정의 제어명령을 수신하여 수행하거나 소정의 정보를 사용자에게 표시한다.The control unit 211 controls the overall operation of the mobile robot 200 including forward, backward and rotation, and at the same time receives a predetermined control command from the user through the user interface unit 213 or performs predetermined information. To the user.

제어부(211)는 영상처리부(205)로부터 수신한 정보를 기초로 자신의 포즈를 추출한다. 영상처리부(205)로부터 수신되는 정보에는 카메라(203)에서 생성한 이미지에 포함된 두 개 이정표의 전역좌표와 영상좌표를 포함한다. 즉, 도 1에서 바닥 면 A, B의 전역좌표 및 영상좌표가 제어부(211)로 입력된다. The controller 211 extracts its own pose based on the information received from the image processor 205. Information received from the image processor 205 includes global coordinates and image coordinates of two milestones included in the image generated by the camera 203. That is, in FIG. 1, global coordinates and image coordinates of the bottom surfaces A and B are input to the controller 211.

제어부(211)는 수신한 두 개 이정표의 전역좌표 및 영상좌표를 가지고 이동로봇(200)의 전역좌표 및 회전 정도를 구한다. The controller 211 obtains the global coordinates and the degree of rotation of the mobile robot 200 from the received global coordinates and the image coordinates.

제어부(211)는 구해진 자신의 포즈를 기초로 자신의 작업을 수행하도록 구동부(207) 등을 제어한다.The control unit 211 controls the driving unit 207 or the like to perform its own operation based on the obtained pose of the user.

사용자인터페이스부(213)는 이동로봇(200)과 사용자 간의 인터페이스를 제공하기 위한 입력부(미도시) 및 표시부(미도시)를 포함한다. 또한, 사용자인터페이스부(213)는 소정의 유선 또는 무선 연결을 위한 인터페이스를 포함할 수 있으며, 이에 따라 유선 또는 무선 접속에 의해 사용자의 명령을 받거나 사용자에게 소정의 정보를 제공할 수 있다. The user interface unit 213 includes an input unit (not shown) and a display unit (not shown) for providing an interface between the mobile robot 200 and the user. In addition, the user interface unit 213 may include an interface for a predetermined wired or wireless connection, and thus may receive a user's command or provide predetermined information to the user through a wired or wireless connection.

이하에서는 도 3을 참조하여, 본 발명의 이동로봇의 포즈인식 방법을 설명한다. Hereinafter, a pose recognition method of the mobile robot of the present invention will be described with reference to FIG. 3.

도 3은 본 발명의 일 실시 예에 따른 이동로봇의 포즈인식 방법의 설명에 제공되는 흐름도이다. 이동로봇(200)은 현재 위치에서 이정표를 읽음으로써 다음의 단계에 따른 방법에 의하여 전역좌표계 상에서의 자신의 포즈를 알 수 있으며, 이전의 이동경로에 대한 이력 관리 등이 필요치 않다. 3 is a flowchart provided to explain a pose recognition method of a mobile robot according to an embodiment of the present invention. The mobile robot 200 can know its pose in the global coordinate system by reading the milestone at the current position, and does not need history management for the previous movement path.

이동로봇(200)의 카메라(203)는 바닥면 A,B에 표시된 이정표가 포함된 이미지를 생성하여 영상처리부(205)로 전달한다(S301).The camera 203 of the mobile robot 200 generates an image including the milestones displayed on the bottom surfaces A and B and transmits the image to the image processor 205 (S301).

영상처리부(205)는 수신한 이미지로부터 A,B 위치의 전역좌표와 영상좌표를 추출한다. 예를 들어, 이정표가 바코드 형태라면 이미지에 포함된 바코드로부터 A, B의 전역좌표를 구하고, 수신한 이미지상의 이정표 위치의 영상좌표를 구한다. 영상처리부(205)는 구해진 A,B 두 지점의 전역좌표와 영상좌표를 제어부(211)로 전달한다(S303).The image processor 205 extracts the global coordinates and the image coordinates of the A and B positions from the received image. For example, if the milestone is in the form of a barcode, the global coordinates of A and B are obtained from the barcode included in the image, and the image coordinates of the position of the landmark on the received image are obtained. The image processor 205 transfers the obtained global coordinates and image coordinates of the two A and B points to the controller 211 (S303).

제어부(211)는 A,B 두 지점의 영상좌표로부터 기 설정된 대응관계를 기초로 로봇좌표를 구한 다음, 로봇좌표와 전역좌표에 관하여 기 계산된 관계식에 적용함으로써 이동로봇(200)의 포즈를 구한다(S305).The controller 211 obtains a robot coordinate from the image coordinates of two points A and B based on a predetermined correspondence, and then obtains a pose of the mobile robot 200 by applying the calculated coordinates to the robot coordinates and the global coordinates. (S305).

이하에서는 도 3의 단계 중 S305의 단계를 도 4 내지 도 6을 참조하여 더욱 상세하게 설명한다. 먼저, 두 개 이정표의 영상좌표를 기초로 소정의 방법으로 두 개 이정표의 로봇좌표를 구하는 방법을 설명한다.Hereinafter, the step S305 of the step of FIG. 3 will be described in more detail with reference to FIGS. 4 to 6. First, a method of obtaining robot coordinates of two milestones by a predetermined method based on the image coordinates of two milestones will be described.

도 4 내지 도 6의 설명은, 로봇좌표계의 XR과 영상좌표계의 XI가 서로 평행하고, 로봇좌표계의 YR 및 ZR가 형성하는 평면과 영상좌표계의 YI 및 ZI가 형성하는 평면이 서로 평행하다. 4 to 6, X R of the robot coordinate system and X I of the image coordinate system are parallel to each other, and Y R of the robot coordinate system is parallel to each other. And Y I of the plane and image coordinate system formed by Z R And the planes formed by Z I are parallel to each other.

그러나, 본 발명은 이러한 경우에 한정되지 아니하며, 다만 영상좌표계와 로봇좌표계 사이에 소정의 고정된 대응관계를 유지하면 족하다. However, the present invention is not limited to this case, but it is sufficient to maintain a predetermined fixed correspondence between the image coordinate system and the robot coordinate system.

먼저, 도 4는 이정표 지점의 영상좌표로부터 로봇좌표를 구하는 방법의 설명에 제공되는 도면으로, 도 1 내지 도 4를 참조하여 영상좌표로부터 로봇좌표(xr, yr) 중 xr를 구하는 방법을 설명한다. 적절한 설명을 위하여 하나의 이정표를 가지고 설명한다. First, FIG. 4 is a diagram provided to explain a method of obtaining robot coordinates from image coordinates of a milestone point. Referring to FIGS. 1 to 4, a method of obtaining x r of robot coordinates (x r , y r ) from the image coordinates. Explain. Describe with one milestone for proper explanation.

도 4의 (a)는 영상좌표계에 투영된 카메라(203)의 이미지 c를 나타내며, A 지점의 영상좌표가 (xi, yi)임을 보인다. 4 (a) shows an image c of the camera 203 projected onto the image coordinate system, and shows that the image coordinate at point A is (x i , y i ).

도 4의 (b)는 두 개의 축 XR, YR 을 기준으로 한 로봇좌표계를 나타내며, xr은 A 지점의 로봇좌표계상의 좌표인 (xr, yr)을 표시한 것이나, xr만을 중심으로 표시하였다.Figure 4 (b) shows two axes X R , Y R A denotes a robot coordinate system, based on, x r is would display the coordinate of (x r, y r) on the robot coordinate system of the point A, and displays only the center x r.

도 1의 카메라(203)의 위치 및 영상좌표계의 위치와 로봇좌표계의 위치를 고려할 때, xi와 xr은 선형의 관계에 있고, xi이 커지면 xr도 커지므로 다음의 수학식 1과 같은 관계를 가진다. Considering the position of the camera 203 and the position of the image coordinate system and the position of the robot coordinate system of FIG. 1, x i and x r have a linear relationship, and as x i increases, x r also increases, so that Equation 1 and Have the same relationship.

Figure 112005055177318-PAT00002
Figure 112005055177318-PAT00002

여기서, K는 선형계수이고, P는 상수이다. 다만, xi=0 일 때 xr=0이므로, P=0이다. 영상좌표계에 투영되는 이미지는 카메라(203)의 렌즈의 특성에 따라 yi가 증가할수록 실질적인 xi는 큰 값이 되므로, K는 yi에 선형으로 변하는 특성이 있다. 도 3의 (b)의 d는 그것을 보인다.Where K is a linear coefficient and P is a constant. However, since x r = 0 when x i = 0, P = 0. The image projected on the image coordinate system has a characteristic that K changes linearly with y i since the substantial x i becomes larger as y i increases according to the characteristics of the lens of the camera 203. D of FIG. 3 (b) shows it.

따라서, 최종적인 xi와 xr의 관계는 다음의 수학식 2와 같다. Therefore, the final relationship between x i and x r is shown in Equation 2 below.

Figure 112005055177318-PAT00003
Figure 112005055177318-PAT00003

여기서, a, b는 매핑변수이며, 영상좌표에 투영되는 이미지 및 실제 거리 등의 실측에 의해 구한다.Here, a and b are mapping variables, and are obtained by actual measurement of an image and an actual distance projected on the image coordinates.

이하에서는 도 5를 참조하여, 로봇좌표(xr, yr) 중 yr를 구하는 방법을 설명한다.Hereinafter, a method of obtaining y r among robot coordinates (x r , y r ) will be described with reference to FIG. 5.

도 5는 이정표 지점의 로봇좌표 중 yr를 구하는 방법의 설명에 제공되는 로봇좌표계의 일부를 도시한 도면으로, 도 1 내지 도 5을 참조하여 영상좌표로부터 로봇좌표(xr, yr) 중 yr를 구하는 방법을 설명한다.FIG. 5 is a view showing a part of a robot coordinate system provided for explaining a method of obtaining y r among robot coordinates at a milestone point, and among robot coordinates (x r , y r ) from image coordinates with reference to FIGS. 1 to 5. Describes how to find y r .

도 5는 XR=0인 로봇좌표계의 단면으로써, 가로축 및 세로축은 로봇좌표계의 일 축인 YR과 ZR이다. 5 is a cross section of a robot coordinate system in which X R = 0, and the horizontal and vertical axes are Y R and Z R , which are one axis of the robot coordinate system.

여기서, h는 카메라(203) 중심의 높이, e는 카메라(203)에 잡힌 이미지의 모습을 가상의 평면으로 나타낸 이미지 플레인(plane), yoff는 이동로봇(200) 중심(로봇좌표계 원점)과 카메라(203) 위치와의 YR축 상 거리, yrc는 이미지 플레인 e의 중심이 YR 축 상에 투사된 값, ψ은 점 h, ys, p로 형성되는 이등변 삼각형의 한 끝 각, φ는 카메라(203)의 각이다. 이상에서, h, ys, yrc는 실측으로 구한 값이다. Here, h is the height of the center of the camera 203, e is the image plane (imaginary plane) showing the state of the image captured by the camera 203 in a virtual plane, y off is the center of the mobile robot 200 (robot coordinate system origin) and Distance on the Y R axis from the camera 203 position, y rc is the value at which the center of the image plane e is projected on the Y R axis, ψ is one end angle of the isosceles triangle formed by points h, y s , p, φ is the angle of the camera 203. In the above, h, y s , y rc are the values calculated | required actually.

구하고자 하는 로봇좌표 yr은 도 5의 기하학적 구조에 따라 다음의 수학식 3과 같이 구해진다.The robot coordinate y r to be obtained is obtained as in Equation 3 below according to the geometry of FIG. 5.

Figure 112005055177318-PAT00004
Figure 112005055177318-PAT00004

여기서, γ는 ∠yoff h ys 이다. λ는 ∠ys h yr 이다. Where γ is offy off hy s to be. λ is ∠y s hy r to be.

카메라(203) 중심과 이미지 플레인 e로 이루어지는 삼각형과 점 h, ys, p로 형성되는 이등변 삼각형은 닮은 관계에 있으므로, yp=myi이다. 여기서, m은 닮음비로써

Figure 112005055177318-PAT00005
이며,
Figure 112005055177318-PAT00006
Figure 112005055177318-PAT00007
는 실제로 측정한 거리이다. Since the triangle formed by the center of the camera 203 and the image plane e and the isosceles triangle formed by the points h, y s and p have a similar relationship, y p = my i . Where m is the similarity ratio
Figure 112005055177318-PAT00005
Is,
Figure 112005055177318-PAT00006
Wow
Figure 112005055177318-PAT00007
Is the actual measured distance.

도 5의 기하학적인 관계에 의해, γ와 λ는 다음의 수학식 4 및 5와 같다.By the geometric relationship in Fig. 5, γ and λ are as shown in the following equations (4) and (5).

Figure 112005055177318-PAT00008
Figure 112005055177318-PAT00008

Figure 112005055177318-PAT00009
Figure 112005055177318-PAT00009

여기서,

Figure 112005055177318-PAT00010
,
Figure 112005055177318-PAT00011
이다.here,
Figure 112005055177318-PAT00010
,
Figure 112005055177318-PAT00011
to be.

따라서, 로봇좌표 yr을 구하기 위한 수학식 3은 다음의 수학식 6과 같이 다시 표현할 수 있다.Therefore, Equation 3 for obtaining the robot coordinate y r may be expressed as in Equation 6 below.

Figure 112005055177318-PAT00012
Figure 112005055177318-PAT00012

여기서,

Figure 112005055177318-PAT00013
이고, h, ys, yoff는 실측으로 구해지므로, 수학식 6은 영상좌표계 상의 yi에 의해 고유하게 계산되는 yr의 비선형 방정식이 된다.here,
Figure 112005055177318-PAT00013
Since h, y s and y off are found by measurement, Equation 6 becomes a nonlinear equation of y r that is uniquely calculated by y i on the image coordinate system.

이하에서는 다음 단계로써, 구해진 두 개 이정표의 로봇좌표를 이용하여 이동로봇(200)의 포즈를 구하는 방법을 설명한다.Hereinafter, a method of obtaining a pose of the mobile robot 200 using the obtained two coordinates of the robot coordinates will be described.

도 6은 전역좌표계상에서 이동로봇의 포즈를 나타낸 도면이다.6 is a diagram illustrating a pose of a mobile robot in a global coordinate system.

도 6을 참조하면, 전역좌표계는 두 개의 축 XW, YW 를 기준으로 표시되었고, 굵은 화살표로 표시된 로봇의 진행방향을 기초로 두 개의 축 XR, YR 를 기준으로 하는 로봇좌표계가 표시되었다. Referring to FIG. 6, the global coordinate system is displayed based on two axes X W and Y W , and the robot coordinate system is displayed on two axes X R and Y R based on the moving direction of the robot indicated by a thick arrow. It became.

A, B 지점에 표시된 두 개의 이정표의 영상좌표는 각각 (xi1, yi1),(xi1, yi1)이고, 전역좌표는 각각 (xw1, yw1),(xw2, yw2)임을 보인다. 그리고, 로봇좌표계 원점을 구하는 이동로봇(200)의 전역좌표라고 할 때, 이동로봇의 위치는 (PX, PY)가 되고, 이동로봇은 축 XW로부터 θ만큼 회전한 상태가 된다. The image coordinates of the two milestones marked at points A and B are (x i1 , y i1 ) and (x i1 , y i1 ), respectively, and the global coordinates are (x w1 , y w1 ) and (x w2 , y w2 ), respectively. Seems to be. And, when the global coordinates of the mobile robot 200 to obtain the origin of the robot coordinate system, the position of the mobile robot is (P X , P Y ), the mobile robot is rotated by θ from the axis X W.

따라서, 이동로봇의 포즈는 (PX, PY , θ)로 표시할 수 있다. Therefore, the pose of the mobile robot can be expressed as (P X , P Y , θ).

로봇좌표계의 임의의 한 점을 전역좌표계의 좌표로 매핑하는 행렬을 다음의 수학식 7과 같다. 여기서 WTR은 매핑행렬이 된다. A matrix for mapping an arbitrary point of the robot coordinate system to the coordinates of the global coordinate system is expressed by Equation 7 below. Where W T R is the mapping matrix.

Figure 112005055177318-PAT00014
Figure 112005055177318-PAT00014

여기서, α+θ=90°이므로, 전역좌표계와 로봇좌표계의 관계는 다음의 수학식 8과 같다.Since α + θ = 90 °, the relationship between the global coordinate system and the robot coordinate system is expressed by Equation 8 below.

Figure 112005055177318-PAT00015
Figure 112005055177318-PAT00015

수학식 8과 A,B 두 지점의 이정표에 대한 전역좌표 (xw1, yw1),(xw2, yw2) 및 로봇좌표 (xr1, yr1),(xr2, yr2)를 이용하여 (PX, PY)를 구하면 다음의 수학식 9 및 10과 같다. Using global coordinates (x w1 , y w1 ), (x w2 , y w2 ) and robot coordinates (x r1 , y r1 ), (x r2 , y r2 ) (P X , P Y ) to obtain Equations 9 and 10 below.

Figure 112005055177318-PAT00016
Figure 112005055177318-PAT00016

Figure 112005055177318-PAT00017
Figure 112005055177318-PAT00017

여기서, θ는 이동로봇(200)의 회전 각도이며, 다음의 수학식 11과 같다. Here, θ is the rotation angle of the mobile robot 200, as shown in the following equation (11).

Figure 112005055177318-PAT00018
Figure 112005055177318-PAT00018

이상의 방법으로 이동로봇(200)의 현재 전역좌표 및 회전 정도를 구할 수 있다. 따라서 이동로봇의 포즈는 (PX, PY , θ)가 된다.In this way, the current global coordinates and the degree of rotation of the mobile robot 200 can be obtained. Therefore, the pose of the mobile robot becomes (P X , P Y , θ).

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the above has been shown and described with respect to preferred embodiments of the invention, the invention is not limited to the specific embodiments described above, it is usually in the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

이상 설명한 바와 같이, 본 발명에 따르면, 이동로봇(Mobile Robot)은 하나의 카메라만을 이용하여 자신의 포즈(pose)를 인식할 수 있으며, 이전의 이동 경로에 대한 이력 관리 없이도 자신의 위치 및 회전 정도를 즉시 인식할 수 있다. As described above, according to the present invention, the mobile robot can recognize its pose by using only one camera, and its position and rotation degree without managing the history of the previous movement path. Can be recognized immediately.

본 발명에 따른 이동로봇은 포즈 인식을 위한 각종 공간센서를 필요로 하지 않으며, 스테레오 카메라와 같은 복수의 카메라를 사용하지 않음으로써 설계의 복잡 및 처리할 데이터의 크기에 대한 부담을 해소할 수 있으며, 이에 따라 이동로봇의 이동속도 및 처리속도를 더욱 높일 수 있다.The mobile robot according to the present invention does not require various spatial sensors for pose recognition, and does not use a plurality of cameras such as a stereo camera, thereby relieving the complexity of the design and the size of the data to be processed. Accordingly, the moving speed and the processing speed of the mobile robot can be further increased.

또한, 고가의 센서나 카메라를 사용하지 않음으로써 이동로봇의 제작단가를 줄일 수 있다.In addition, the manufacturing cost of the mobile robot can be reduced by not using expensive sensors or cameras.

본 발명의 이동로봇 포즈인식 방법은 로봇 네비게이션(navigtion) 분야에 적용함으로써 자신의 포즈인식을 활용한 지능형 작업을 수행할 수 있다. 청소용 이동로봇의 경우를 예로 들면, 로봇은 자신의 포즈를 정확히 파악함으로써 한 번 지나온 경로를 다시 지나가지 않도록 제어함과 동시에 소정 청소영역에 스캐닝하지 않은 부분이 발생하지 않도록 할 수 있다.The mobile robot pose recognition method of the present invention can perform intelligent work using its pose recognition by applying to a robot navigation field. For example, in the case of a cleaning mobile robot, the robot accurately grasps its pose so that the robot does not cross the path once passed and prevents the unscanned portion from occurring in the predetermined cleaning area.

Claims (14)

소정 평면인 바닥면 상에 기 설정된 적어도 2차원의 좌표계인 전역좌표계 상에서, 자신의 위치를 원점으로 하는 좌표계인 로봇좌표계의 상기 원점의 전역좌표 및 회전 정도를 나타내는 포즈(pose) 인식이 가능한 이동 로봇(robot)에 있어서,A mobile robot capable of recognizing poses representing the global coordinates and the degree of rotation of the origin of the robot coordinate system, which is a coordinate system whose origin is the origin, on a global coordinate system which is a predetermined two-dimensional coordinate system on the floor plane that is a predetermined plane. for robots, 상기 바닥면의 임의 지점에 부착되고 상기 지점의 전역좌표를 포함하는 정보가 시각적으로 표시된 복수 개의 이정표;A plurality of milestones attached to any point on the bottom surface and visually displaying information including global coordinates of the point; 상기 이동로봇에 고정 설치되어 적어도 두 개의 상기 이정표를 포함하는 이미지를 생성하여 출력하는 카메라;A camera fixed to the mobile robot to generate and output an image including at least two milestones; 수신한 상기 이미지에 포함된 이정표 이미지로부터 상기 이정표 지점의 전역좌표를 추출하는 영상처리부; 및An image processor extracting a global coordinate of the milestone point from the milestone image included in the received image; And 상기 로봇좌표계에서 상기 이정표 지점이 인식되는 기하학적 관계를 기초로 계산한 상기 이정표 지점의 로봇좌표와 상기 이정표 지점의 전역좌표 사이의 관계를 계산함으로써, 상기 포즈를 계산하는 제어부;를 포함하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.And a controller configured to calculate the pose by calculating a relationship between the robot coordinates of the milestone points and the global coordinates of the milestone points calculated on the basis of the geometric relationship in which the milestone points are recognized in the robot coordinate system. Robot that can recognize pose. 제 1항에 있어서,The method of claim 1, 상기 카메라는, 소정의 각도를 가지고 상기 바닥면을 향하게 상기 이동로봇의 전면에 설치되고, The camera is installed on the front of the mobile robot at a predetermined angle toward the bottom surface, 상기 이동로봇의 주행방향 및 상기 카메라의 주시 방향이 서로 일치하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.A moving robot capable of pose recognition, characterized in that the traveling direction of the mobile robot and the gaze direction of the camera coincide with each other. 제 1항에 있어서,The method of claim 1, 상기 이정표는, 상기 지점의 전역좌표를 포함하는 정보를 표시함에 있어 바 코드(bar code), 일련의 아라비아 숫자, 문자 중 적어도 어느 하나로 표시하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.Wherein the milestone, in displaying the information including the global coordinates of the point mobile robot capable of pose recognition, characterized in that displayed by at least one of a bar code, a series of Arabic numerals, characters. 제 1항에 있어서,The method of claim 1, 상기 영상처리부는, 상기 이미지상에 적용된 2차원 좌표계인 영상좌표계상의 상기 이정표 이미지의 영상좌표를 추출하여 상기 제어부로 출력하고,The image processor extracts the image coordinates of the milestone image on the image coordinate system, which is a two-dimensional coordinate system applied to the image, and outputs the image coordinates to the controller. 상기 제어부는, 3차원인 상기 로봇좌표계와 상기 영상좌표계 사이의 기 설정된 기하학적 관계를 기초로 상기 이정표 지점의 로봇좌표를 계산하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.And the controller calculates a robot coordinate of the milestone point based on a predetermined geometric relationship between the robot coordinate system and the image coordinate system in three dimensions. 제 4항에 있어서,The method of claim 4, wherein 상기 로봇좌표계는, 상기 원점을 지나고, 상기 이동로봇의 주행방향 및 상기 주행방향에 수직인 방향과 일치하는 상기 바닥면 상의 두 개의 축 및 상기 두 개 축에 서로 직교하는 다른 일 축으로 형성되며, The robot coordinate system is formed by two axes on the bottom surface and the other one orthogonal to each other, the two axes on the bottom surface that pass through the origin and coincide with the traveling direction of the mobile robot and the direction perpendicular to the traveling direction, 상기 로봇좌표계의 상기 주행방향에 수직인 축과 상기 영상좌표계의 일 축이 서로 평행인 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.A robot capable of recognizing poses, wherein an axis perpendicular to the traveling direction of the robot coordinate system and one axis of the image coordinate system are parallel to each other. 제 5항에 있어서,The method of claim 5, 상기 각 이정표 지점의 전역좌표 및 상기 이정표 지점의 로봇좌표의 관계가 다음의 수학식으로 표현되는 경우, When the relationship between the global coordinates of each milestone point and the robot coordinates of the milestone point is expressed by the following equation, 상기 포즈는 상기 로봇좌표계 원점의 전역좌표 (PX, PY)가 되고, 상기 전역좌표계에 대해 θ만큼 회전한 상태인 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.The pose is a global coordinate (P X , P Y ) of the origin of the robot coordinate system, the robot can pose recognition, characterized in that rotated by the θ relative to the global coordinate system.
Figure 112005055177318-PAT00019
Figure 112005055177318-PAT00019
여기서, 상기 이정표 지점의 전역좌표는 (xw, yw), 로봇좌표는 (xr, yr).Here, the global coordinate of the milestone point is (x w , y w ), the robot coordinate is (x r , y r ).
제 1항에 있어서,The method of claim 1, 상기 제어부의 제어명령에 따라 상기 이동로봇이 주행하도록 제어하는 구동부;를 더 포함하고,And a driving unit which controls the mobile robot to travel according to a control command of the controller. 상기 제어부는, 상기 이동로봇의 주행 중에 주기적 및 비주기적 간격 중 적어도 하나로 상기 포즈를 계산하고, 상기 계산된 포즈를 기초로 상기 이동로봇이 주행하도록 상기 구동부에 상기 제어명령을 전달하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇.The control unit may calculate the pose at least one of periodic and non-periodic intervals while the mobile robot is driving, and transmit the control command to the driving unit so that the mobile robot travels based on the calculated pose. Mobile robot with pose recognition. 제 7항에 있어서,The method of claim 7, wherein 공기를 흡입하면서 대향되는 상기 바닥면의 먼지를 집진하는 흡진장치;를 더 포함하여 상기 바닥면을 청소하는 것을 특징으로 하는 포즈 인식이 가능한 이동 로봇. And a dust collecting device for collecting dust on the bottom surface while inhaling air, wherein the bottom surface is cleaned. 소정 평면인 바닥면 상에 기 설정된 적어도 2차원의 좌표계인 전역좌표계 상에서, 자신의 위치를 원점으로 하는 좌표계인 로봇좌표계의 상기 원점의 전역좌표 및 회전 정도를 나타내는 이동 로봇의 포즈 인식방법에 있어서,In the pose recognition method of the mobile robot which shows the global coordinate and the rotation degree of the said origin of the robot coordinate system which is a coordinate system whose origin is an origin, on the global coordinate system which is a preset two-dimensional coordinate system on the floor surface which is predetermined plane, 상기 이동로봇 상에 고정된 카메라를 이용하여, 상기 바닥면의 임의 지점에 부착되고 상기 지점의 전역좌표를 포함하는 정보가 시각적으로 표시된 복수 개의 이정표 중 적어도 두 개의 상기 이정표를 포함하는 이미지를 생성하는 단계;Generating an image comprising at least two of the milestones of a plurality of milestones visually displayed with information including global coordinates of the points and attached to an arbitrary point on the bottom surface using a camera fixed on the mobile robot; step; 상기 이미지에 포함된 이정표 이미지로부터 상기 이정표 지점의 전역좌표를 추출하는 단계; 및Extracting a global coordinate of the milestone point from the milestone image included in the image; And 상기 로봇좌표계에서 상기 이정표 지점이 인식되는 기하학적 관계를 기초로 계산한 상기 이정표 지점의 로봇좌표와 상기 이정표 지점의 전역좌표 사이의 관계를 계산함으로써, 상기 포즈를 계산하는 단계;를 포함하는 것을 특징으로 하는 이동 로봇의 포즈 인식방법.Calculating the pose by calculating a relationship between the robot coordinates of the milestone point and the global coordinates of the milestone point calculated on the basis of the geometric relationship in which the milestone points are recognized in the robot coordinate system. Pose recognition method of a mobile robot. 제 9항에 있어서,The method of claim 9, 상기 이정표는, 상기 지점의 전역좌표를 포함하는 정보를 표시함에 있어 바 코드, 일련의 아라비아 숫자, 문자 중 적어도 어느 하나로 표시하는 것을 특징으로 하는 이동 로봇의 포즈 인식방법.Wherein the milestone, in displaying the information including the global coordinates of the point at least one of a bar code, a series of Arabic numerals, a character to display the pose of the mobile robot. 제 9항에 있어서,The method of claim 9, 상기 생성한 이미지상에 적용된 2차원 좌표계인 영상좌표계상의 상기 이정표 이미지의 영상좌표를 추출하는 단계;를 더 포함하고,Extracting image coordinates of the milestone image on the image coordinate system which is a two-dimensional coordinate system applied to the generated image; 상기 포즈를 계산하는 단계의 상기 이정표 지점의 로봇좌표는, 3차원인 상기 로봇좌표계와 상기 영상좌표계 사이의 기 설정된 기하학적 관계를 기초로 계산하는 것을 특징으로 하는 이동 로봇의 포즈 인식방법.Robot coordinates of the milestone point in the step of calculating the pose is calculated based on a predetermined geometric relationship between the three-dimensional robot coordinate system and the image coordinate system. 제 11항에 있어서,The method of claim 11, 상기 로봇좌표계는, 상기 원점을 지나고, 상기 이동로봇의 주행방향 및 상기 주행방향에 수직인 방향과 일치하는 상기 바닥면 상의 두 개의 축 및 상기 두 개 축에 서로 직교하는 다른 일 축으로 형성되며, The robot coordinate system is formed by two axes on the bottom surface and the other one orthogonal to each other, the two axes on the bottom surface that pass through the origin and coincide with the traveling direction of the mobile robot and the direction perpendicular to the traveling direction, 상기 로봇좌표계의 상기 주행방향에 수직인 축과 상기 영상좌표계의 일 축이 서로 평행인 것을 특징으로 하는 이동 로봇의 포즈 인식방법.And an axis perpendicular to the traveling direction of the robot coordinate system and one axis of the image coordinate system are parallel to each other. 제 12항에 있어서,The method of claim 12, 상기 각 이정표 지점의 전역좌표 및 상기 이정표 지점의 로봇좌표의 관계가 다음의 수학식으로 표현되는 경우, When the relationship between the global coordinates of each milestone point and the robot coordinates of the milestone point is expressed by the following equation, 상기 포즈는 상기 로봇좌표계 원점의 전역좌표 (PX, PY)가 되고, 상기 전역좌표계에 대해 θ만큼 회전한 상태인 것을 특징으로 하는 이동 로봇의 포즈 인식방법.And the pose is a global coordinate (P X , P Y ) of the origin of the robot coordinate system and is rotated by θ relative to the global coordinate system.
Figure 112005055177318-PAT00020
Figure 112005055177318-PAT00020
여기서, 상기 이정표 지점의 전역좌표는 (xw, yw), 로봇좌표는 (xr, yr).Here, the global coordinate of the milestone point is (x w , y w ), the robot coordinate is (x r , y r ).
제 9항에 있어서,The method of claim 9, 상기 이동로봇의 주행 중에 주기적 및 비주기적 간격 중 적어도 하나로 상기 포즈를 계산하는 단계를 반복하는 단계; 및Repeating calculating the pose with at least one of periodic and aperiodic intervals while the mobile robot is traveling; And 상기 계산된 포즈를 기초로 상기 이동로봇이 주행하는 단계;를 더 포함하는 것을 특징으로 하는 이동 로봇의 포즈 인식방법.And moving the mobile robot based on the calculated pose.
KR1020050091295A 2005-09-29 2005-09-29 Mobile robot capable of pose sensing with a single camera and method thereof KR100703882B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050091295A KR100703882B1 (en) 2005-09-29 2005-09-29 Mobile robot capable of pose sensing with a single camera and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050091295A KR100703882B1 (en) 2005-09-29 2005-09-29 Mobile robot capable of pose sensing with a single camera and method thereof

Publications (2)

Publication Number Publication Date
KR20070036357A true KR20070036357A (en) 2007-04-03
KR100703882B1 KR100703882B1 (en) 2007-04-06

Family

ID=38158550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050091295A KR100703882B1 (en) 2005-09-29 2005-09-29 Mobile robot capable of pose sensing with a single camera and method thereof

Country Status (1)

Country Link
KR (1) KR100703882B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100884904B1 (en) * 2007-09-12 2009-02-19 아주대학교산학협력단 Method for self localization using parallel projection model
KR100978585B1 (en) * 2008-02-29 2010-08-27 울산대학교 산학협력단 Robot
KR101379732B1 (en) * 2012-04-09 2014-04-03 전자부품연구원 Apparatus and method for estimating gondola robot's position

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506533B1 (en) * 2003-01-11 2005-08-05 삼성전자주식회사 Mobile robot and autonomic traveling system and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100884904B1 (en) * 2007-09-12 2009-02-19 아주대학교산학협력단 Method for self localization using parallel projection model
KR100978585B1 (en) * 2008-02-29 2010-08-27 울산대학교 산학협력단 Robot
KR101379732B1 (en) * 2012-04-09 2014-04-03 전자부품연구원 Apparatus and method for estimating gondola robot's position

Also Published As

Publication number Publication date
KR100703882B1 (en) 2007-04-06

Similar Documents

Publication Publication Date Title
US5999866A (en) Infrastructure independent position determining system
KR101439921B1 (en) Slam system for mobile robot based on vision sensor data and motion sensor data fusion
Ganganath et al. Mobile robot localization using odometry and kinect sensor
KR20110097140A (en) Apparatus for estimating location of moving robot and method thereof
KR102056147B1 (en) Registration method of distance data and 3D scan data for autonomous vehicle and method thereof
CN112740274A (en) System and method for VSLAM scale estimation on robotic devices using optical flow sensors
JP2004198211A (en) Apparatus for monitoring vicinity of mobile object
CN109506652B (en) Optical flow data fusion method based on carpet migration and cleaning robot
WO2013049597A1 (en) Method and system for three dimensional mapping of an environment
JP5276931B2 (en) Method for recovering from moving object and position estimation error state of moving object
KR101341204B1 (en) Device and method for estimating location of mobile robot using raiser scanner and structure
WO2019001237A1 (en) Mobile electronic device, and method in mobile electronic device
RU2740229C1 (en) Method of localizing and constructing navigation maps of mobile service robot
JP2003015739A (en) External environment map, self-position identifying device and guide controller
CN103472434B (en) Robot sound positioning method
CN108544494A (en) A kind of positioning device, method and robot based on inertia and visual signature
WO2018228258A1 (en) Mobile electronic device and method therein
KR100784125B1 (en) Method for extracting coordinates of landmark of mobile robot with a single camera
CN114252071A (en) Self-propelled vehicle navigation device and method thereof
KR100703882B1 (en) Mobile robot capable of pose sensing with a single camera and method thereof
JP4774401B2 (en) Autonomous mobile route setting device
KR100792852B1 (en) Method for extracting distance of landmark of mobile robot with a single camera
Tsukiyama Global navigation system with RFID tags
JP5439552B2 (en) Robot system
US20230079899A1 (en) Determination of an absolute initial position of a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee