KR20120019661A - Robot and method of tracing object - Google Patents

Robot and method of tracing object Download PDF

Info

Publication number
KR20120019661A
KR20120019661A KR1020100082996A KR20100082996A KR20120019661A KR 20120019661 A KR20120019661 A KR 20120019661A KR 1020100082996 A KR1020100082996 A KR 1020100082996A KR 20100082996 A KR20100082996 A KR 20100082996A KR 20120019661 A KR20120019661 A KR 20120019661A
Authority
KR
South Korea
Prior art keywords
vertices
image
robot
distance
marker
Prior art date
Application number
KR1020100082996A
Other languages
Korean (ko)
Other versions
KR101233938B1 (en
Inventor
남윤영
조승한
홍상진
조위덕
스타나세빅 밀루틴
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020100082996A priority Critical patent/KR101233938B1/en
Publication of KR20120019661A publication Critical patent/KR20120019661A/en
Application granted granted Critical
Publication of KR101233938B1 publication Critical patent/KR101233938B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

PURPOSE: An object tracing robot and a method thereof are provided to maintain a fixed distance from an object being traced by controlling a drive motor using information on the distance to the object. CONSTITUTION: An object tracing robot comprises a camera(1), a laser sensor(2), an RF receiver(3), and a control unit(4). The camera photographs an object or a marker of the object. The RF receiver receives RFID information from an RFID tag of the object. The laser sensor receives a laser signal. The control unit confirms the object using one among the object image and marker image from the camera and the RFID information received from the RFID tag, calculates the distance to the object using the laser signal received by the laser sensor, and controls a drive motor to maintain a fixed distance from the object.

Description

객체 추적 로봇 및 그 방법{ROBOT AND METHOD OF TRACING OBJECT}ROBOT AND METHOD OF TRACING OBJECT}

본 발명은 객체 추적 로봇 및 그 방법에 관한 것으로, 더욱 자세하게는 이동하는 객체를 일정한 거리를 두고서 추적하는 기술에 관한 것이다.The present invention relates to an object tracking robot and a method thereof, and more particularly to a technique for tracking a moving object at a certain distance.

이동하는 물체나 사람을 추적하는 로봇은 물체 또는 사람에 부착된 GPS(Global Positioning System) 수신기로부터 수신된 위치정보를 이용하여, 물체 또는 사람을 추적하였다. 그런데 GPS 수신기는 실내에 위치한 경우 주위 환경에 따른 간섭으로 인해서 위성으로부터 수신되는 신호의 감쇄가 심해서 물체 또는 사람의 위치를 정확히 파악할 수 없게 된다. 이로 인해서 로봇은 물체 또는 사람의 추적을 원활하게 수행할 수 없게 된다.A robot tracking a moving object or person tracks an object or a person using location information received from a GPS (Global Positioning System) receiver attached to the object or person. However, when the GPS receiver is located indoors, the signal received from the satellite is severely attenuated by interference due to the surrounding environment, and thus, the GPS receiver cannot accurately locate the object or the person. This prevents the robot from smoothly tracking objects or people.

이를 극복하기 위해서 관성측정장치를 물체나 사람에 부착하는 방법이 제시되었으나 특별한 기구 설계가 요구되면 구현비용이 증가하는 문제점이 있다.
In order to overcome this problem, a method of attaching an inertial measurement device to an object or a person has been proposed, but there is a problem that an implementation cost increases when a special instrument design is required.

실내에서 이동하는 객체의 형상정보, 객체에 부착된 마커 정보, 객체의 RFID 태그 정보 중 어느 하나를 이용하여 객체를 인식하고, 인식된 객체와의 거리정보를 이용하여 모터의 구동을 제어해서 인식된 객체를 일정한 거리를 두고서 추적하는 객체 추적 로봇 및 그 방법이 제안된다. The object is recognized by using any one of the shape information of the object moving in the room, the marker information attached to the object, and the RFID tag information of the object, and the driving of the motor is controlled by using the distance information with the recognized object An object tracking robot and a method for tracking an object at a certain distance are proposed.

본 발명의 일 양상에 따른 객체 추적 로봇은, 객체 또는 객체에 부착된 마커를 촬영하는 카메라; 객체의 RFID 태그로부터 RFID 정보를 수신하는 RF 리시버; 레이저 신호를 수신하는 레이저 센서; 및 상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하고, 추적하고자 하는 객체인 경우 상기 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어하는 제어부를 포함한다.An object tracking robot according to an aspect of the present invention includes a camera for photographing an object or a marker attached to the object; An RF receiver for receiving RFID information from an RFID tag of the object; A laser sensor for receiving a laser signal; And checking whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag, and if the object is to be tracked, the laser received by the laser sensor It includes a control unit for controlling the drive motor to maintain a constant distance from the object by calculating the distance to the object using a signal.

상기 마커는, 흑색 테두리 내에 흑색 및 백색의 셀로 구성되며, 4비트의 체크썸, 32비트의 에러교정데이터 및 28비트의 정보로 인코딩될 수 있다.The marker is composed of black and white cells within a black border, and may be encoded with 4 bits of checksum, 32 bits of error correction data, and 28 bits of information.

상기 흑색 테두리는, 이미지가 블로어(blur) 되거나 초점이 맞지 않는 경우에 디코딩을 용이하게 하는 역할을 할 수 있다. The black border may serve to facilitate decoding when the image is blurred or out of focus.

상기 제어부는, 객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 상기 카메라에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단할 수 있다.The controller may determine whether or not the object image received from the camera is similar to the image of the object stored in advance through at least one of the shape, color, and texture of the object.

상기 제어부는, 상기 카메라에서 수신된 객체 이미지를 아래의 수학식을 이용하여 HSV 데이터로 변환해서 해당 데이터의 각 픽셀의 색상과 채도 데이터를 X축이 색상(Hue: H)으로 정의되고 Y축이 채도(Saturation : S)로 정의되는 H-S 2차원 공간에 표현하고, LBG(Linde-Buzo-Gray) 알고리즘을 적용해서 H-S 2차원 공간에 표현된 HSV 데이터에서 색상 클러스터를 추출하며 미리 저장된 객체의 이미지에 대해서도 H-S 2차원 공간으로 표현해서 LBG 알고리즘을 적용해서 색상 클러스터를 추출하며, 상기 추출된 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산해서 상기 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지의 색상과 미리 저장된 객체 이미지의 색상의 유사 여부를 판단할 수 있다. The control unit converts the object image received from the camera into HSV data using the following equation, and the hue and saturation data of each pixel of the data are defined as the color (Hue: H) and the Y axis is Expressed in HS two-dimensional space defined as saturation (S), LBG (Linde-Buzo-Gray) algorithm is applied to extract color clusters from HSV data represented in HS two-dimensional space, and to the image of the pre-stored object Also expressed in HS two-dimensional space to extract the color cluster by applying the LBG algorithm, and cumulatively calculate the sum of the minimum distance between the center points of the extracted color clusters received using the sum of the calculated minimum distance It is possible to determine whether the color of the object image is similar to the color of the pre-stored object image.

[수 학 식] [ Mathematical formula ]

Figure pat00001
Figure pat00001

이때, H는 색상을 나타내고, S는 채도를 나타내고, V는 명도(Value)를 나타낸다. 그리고, R, G 및 B는 각각 빨강, 초록 및 파랑을 나타낸다.In this case, H represents hue, S represents saturation, and V represents brightness. And R, G and B represent red, green and blue, respectively.

상기 제어부는, 상기 계산된 최소 거리의 합이 작을수록 두 이미지의 색상 유사성이 높은 것으로 판단할 수 있다.The controller may determine that the color similarity of the two images is higher as the sum of the calculated minimum distances is smaller.

상기 제어부는, 상기 카메라에서 수신된 마커 이미지를 설정된 크기의 픽셀 블록(block)으로 다운스케일(downscale) 하여 하나의 슈퍼(super) 픽셀의 마커 이미지로 만든 후, 다운스케일된 마커 이미지에 대한 그레이스케일(grayscale) 값의 히스토그램을 계산하고, 2-means 분류기를 이용하여 이미지를 바이너리화 하기 위해 그레이스케일값에 대한 임계값을 찾고, BFS(Breadth-first-search)를 사용하여 슈퍼 픽셀의 마커 이미지 내 각 블록에 연결된 컴포넌트를 검색하고, 상기 검색된 컴포넌트들에 대해서 호프 변환(Hough transform)을 하여 1차로 각 연결된 컴포넌트의 네 개의 코너점을 찾고, 상기 1차로 네 개의 코너점을 찾은 후 상기 네 개의 코너점 주변의 픽셀들을 파악해서 파악된 주변의 픽셀들 중 마커의 기울어짐을 가장 최소화하는 네 개의 코너점을 산출하고, 상기 산출된 네 개의 코너점의 각도를 평행-평행-매핑(plane-to-plane homography)으로 설정된 마커의 위치에 맞도록 조절하여 일치 여부를 판단할 수 있다.The controller downscales the marker image received from the camera to a pixel block of a predetermined size to make a marker image of one super pixel, and then grayscales the downscaled marker image. Compute a histogram of grayscale values, find the threshold for grayscale values to binarize the image using the 2-means classifier, and use the BFS (Breadth-first-search) in the marker image of the superpixel. The components connected to each block are searched, Hough transform is performed on the found components to find four corner points of each connected component in the first order, the four corner points are first found, and the four corners are found. Identifying the pixels around the point to calculate the four corner points that minimizes the tilt of the marker among the identified surrounding pixels, The angles of the calculated four corner points may be adjusted to match the positions of the markers set by plane-to-plane homography to determine whether they match.

상기 제어부는, 상기 계산된 거리에 대해서 Split-and-Merge 알고리즘을 이용하여 주변의 경계선 및 꼭지점을 찾아내고, 상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산할 수 있다.The controller finds a boundary and a vertex of the surrounding area by using a split-and-merge algorithm, and compares the found vertices with map information consisting of absolute coordinates of vertices of a surrounding environment. The position and direction of movement can be calculated.

상기 제어부는, 상기 꼭지점들의 동일한 패턴을 맵 정보에서 찾아내기 위해 꼭지점들 사이의 거리와 각 정보를 이용하되, 상기 동일한 패턴을 갖는 꼭지점들을 맵정보에서 찾은 이후에 로봇의 위치를 아래의 수학식을 이용하여 파악할 수 있다.The controller uses the distance between the vertices and each piece of information to find the same pattern of the vertices in the map information, and after finding vertices having the same pattern in the map information, the controller calculates the position of the robot by the following equation. You can figure it out.

[수 학 식] [ Mathematical formula ]

Figure pat00002
,
Figure pat00002
,

Figure pat00003
,
Figure pat00003
,

Figure pat00004
Figure pat00004

이때,

Figure pat00005
은 절대원점을 기준으로 한 계산된 로봇의 이동방향이고,
Figure pat00006
은 동일한 패턴을 갖는 꼭지점들의 개수이고,
Figure pat00007
는 꼭지점들의 인덱스이고,
Figure pat00008
는 인덱스 i의 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점이고,
Figure pat00009
는 인덱스 i의 맵정보에 저장된 꼭지점이고,
Figure pat00010
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 집합이고,
Figure pat00011
은 맵정보에 저장된 꼭지점들의 집합이고,
Figure pat00012
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00013
은 맵정보의 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00014
은 절대원점을 기준으로 한 계산된 로봇의 x축 방향 좌표이고,
Figure pat00015
은 절대원점을 기준으로 한 계산된 로봇의 y축 방향 좌표이고,
Figure pat00016
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00017
의 x축 방향 상대좌표이고,
Figure pat00018
는 맵정보의 꼭지점 인덱스
Figure pat00019
의 x축 방향 절대좌표이고,
Figure pat00020
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00021
의 y축 방향 상대좌표이고,
Figure pat00022
는 맵정보의 꼭지점 인덱스
Figure pat00023
의 y축 방향 절대좌표이다.At this time,
Figure pat00005
Is the calculated direction of robot movement relative to the absolute origin,
Figure pat00006
Is the number of vertices with the same pattern,
Figure pat00007
Is the index of the vertices,
Figure pat00008
Is a vertex extracted using the distance to the point where the laser at index i is reflected,
Figure pat00009
Is the vertex stored in the map information at index i,
Figure pat00010
Is a set of vertices extracted using the distance to the point where the laser is reflected,
Figure pat00011
Is a set of vertices stored in map information,
Figure pat00012
Is an angle formed by the vertex index j based on the vertex index i extracted using the distance to the point where the laser is reflected,
Figure pat00013
Is the angle formed by the vertex index j based on the vertex index i of the map information,
Figure pat00014
Is the x-axis coordinate of the calculated robot about the absolute origin,
Figure pat00015
Is the y-axis coordinate of the computed robot relative to the absolute origin,
Figure pat00016
Is the vertex index extracted from the data in the range finder.
Figure pat00017
Relative coordinate in the x-axis direction of,
Figure pat00018
Is the vertex index of the map information.
Figure pat00019
Absolute coordinate in the x-axis of,
Figure pat00020
Is the vertex index extracted from the data in the range finder.
Figure pat00021
Relative coordinates in the y-axis direction of,
Figure pat00022
Is the vertex index of the map information.
Figure pat00023
Absolute coordinate in the y axis direction.

상기 제어부는, 상기 맵에 저장된 꼭지점들과 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 패턴을 비교하여 가장 높은 상관도를 갖는 꼭지점들을 선택하고, 찾은 패턴의 위치를 이용하여 로봇의 위치를 유추할 수 있다.
The controller selects vertices having the highest correlation by comparing the patterns of vertices extracted by using the distances between the vertices stored in the map and the point where the laser is reflected, and selects vertices having the highest correlation, and uses the positions of the found patterns Infer the location.

본 발명의 다른 양상에 따른 객체 추적 로봇의 객체 추적 방법은, 객체 또는 객체에 부착된 마커를 촬영하고, 객체의 RFID 태그로부터 RFID 정보를 수신하고, 레이저 신호를 수신하는 데이터 수집 단계; 상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하는 단계; 및 상기 해당 객체가 추적하고자 하는 객체인 경우 상기 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어하는 단계를 포함한다.An object tracking method of an object tracking robot according to another aspect of the present invention includes a data collection step of photographing an object or a marker attached to the object, receiving RFID information from an RFID tag of the object, and receiving a laser signal; Checking whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag; And controlling the driving motor to maintain a constant distance from the object by calculating a distance to the object by using the laser signal received by the laser sensor when the corresponding object is the object to be tracked.

본 발명의 실시예에 따른 객체 추적 로봇에 따르면, 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하고, 추적하고자 하는 객체인 경우 레이저 센서에서 수신된 객체와의 거리정보를 이용하여 객체와 일정한 거리를 유지하도록 구동모터를 제어해서 구동모터에 연결된 바퀴의 회전수를 제어함으로써, 실내에서도 물체 또는 사람의 추적을 원활하게 수행할 수 있게 된다. According to the object tracking robot according to an embodiment of the present invention, by using any one of the object image, the marker image and the RFID information received from the RFID tag to determine whether the object is the object to be tracked, the object to be tracked By controlling the driving motor to maintain a constant distance from the object by using the distance information with the object received from the laser sensor to control the number of revolutions of the wheels connected to the drive motor, it is possible to smoothly track the object or person indoors. Will be.

도 1은 본 발명의 실시예에 따른 객체 추적 로봇의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 마커를 나타낸 도면이다.
도 3a는 레인지파인더가 일정한 각 간격으로 레이저를 송출하고 송출된 레이저가 주변 환경으로부터 반사되어 돌아오는 시간을 이용하여 얻어진 거리를 나타낸 도면이다.
도 3b는 도 3a에 도시된 각각의 거리에 대해서 Split-and-Merge 알고리즘을 적용해서 찾아낸 주변의 경계선 및 꼭지점과 로봇의 위치를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 객체추적로봇의 객체추적방법에 대한 플로차트이다.1 is a view showing the configuration of an object tracking robot according to an embodiment of the present invention.
2 is a diagram illustrating a marker according to an embodiment of the present invention.
FIG. 3A is a view showing a distance obtained by using a time when the range finder emits lasers at regular intervals and the emitted laser is reflected from the surrounding environment.
FIG. 3B is a diagram showing the position of the boundary and vertices and the surrounding robots found by applying the Split-and-Merge algorithm for each distance shown in FIG. 3A.
4 is a flowchart of an object tracking method of an object tracking robot according to an exemplary embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 본 발명의 실시예에 따른 객체 추적 로봇의 구성을 나타낸 도면이다.1 is a view showing the configuration of an object tracking robot according to an embodiment of the present invention.

도시된 바와 같이 본 발명의 실시예에 따른 객체 추적 로봇은, 카메라(1), 레이저 센서(2), RF 리시버(3), 제어부(4) 및 구동모터(5)를 포함한다.As shown, the object tracking robot according to the exemplary embodiment of the present invention includes a camera 1, a laser sensor 2, an RF receiver 3, a control unit 4, and a driving motor 5.

카메라(1)는 객체 또는 객체에 부착된 마커를 촬영하여 촬영된 객체 이미지 또는 마커 이미지를 제어부(4)에 제공한다. 이때, 객체에 부착된 마커는 도 2에 도시된 바와 같이 흑색 테두리(10) 내에 가로×세로, 8×8로 이루어진 흑색과 백색의 셀로 구성되며, 4비트의 체크썸, 32비트의 에러교정데이터 및 28비트의 정보로 인코딩될 수 있다. 흑색 테두리(10)는 이미지가 블로어(blur) 되거나 초점이 맞지 않는 경우에 디코딩을 용이하게 하는 역할을 한다.The camera 1 photographs an object or a marker attached to the object and provides the photographed object image or marker image to the controller 4. At this time, the marker attached to the object is composed of black and white cells consisting of 8 x 8 horizontal x vertical, 8 x 8 in the black border 10, as shown in Figure 2, 4-bit checksum, 32-bit error correction data And 28 bits of information. The black border 10 serves to facilitate decoding when the image is blown or out of focus.

RF 리시버(3)는 객체의 RFID 태그로부터 RFID 정보를 수신하여 제어부(4)에 제공한다.The RF receiver 3 receives the RFID information from the RFID tag of the object and provides it to the controller 4.

레이저 센서(2)는 레이저 신호를 수신하여 제어부(4)에 제공한다.The laser sensor 2 receives a laser signal and provides it to the controller 4.

제어부(4)는 카메라(1)에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하고, 추적하고자 하는 객체인 경우 레이저 센서(2)에서 제공된 레이저 신호를 이용하여 객체와의 거리정보를 계산하고 계산된 거리정보를 이용하여 구동모터(5)의 제어를 통해 구동모터(5)에 연결된 바퀴(6, 7)의 회전수를 제어한다. 이를 통해서 객체 추적 로봇이 일정한 거리를 두면서 객체를 추적할 수 있게 된다.The controller 4 checks whether the corresponding object is the object to be tracked using any one of the object image received from the camera 1, the marker image, and the RFID information received from the RFID tag. Rotation of the wheels 6 and 7 connected to the drive motor 5 through the control of the drive motor 5 by calculating distance information with the object using the laser signal provided by the sensor 2 and using the calculated distance information. Control the number. This allows the object tracking robot to track the object at a certain distance.

이때, 제어부(4)는 카메라(1)에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부로서 촬영된 객체가 추적하고자 하는 객체인가를 확인한다. 이미지의 일치 여부는 객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 이루어질 수 있다. At this time, the controller 4 checks whether the photographed object is the object to be tracked as the similarity between the object image received from the camera 1 and the image of the pre-stored object. Whether the image matches may be achieved through at least one of the shape, color, and texture of the object.

이 중 색상을 통하여 이미지의 일치 여부의 판단은 다음과 같이 이루어질 수 있다. 즉, 제어부(4)는 카메라(1)에서 수신된 객체 이미지를 아래의 수학식 1을 이용하여 HSV 데이터로 변환하고, 변환된 HSV 데이터의 각 픽셀의 색상과 채도 데이터를 X축이 색상(Hue: H)으로 정의되고 Y축이 채도(Saturation : S)로 정의되는 H-S 2차원 공간에 표현한다. 제어부(4)는 LBG(Linde-Buzo-Gray) 알고리즘을 적용해서 H-S 2차원 공간에 표현된 HSV 데이터에서 색상 클러스터를 추출한다. 이와 동시에 미리 저장된 객체의 이미지에 대해서도 H-S 2차원 공간으로 표현해서 LBG 알고리즘을 적용해서 색상 클러스터를 추출한다. Among these, determination of whether images match through colors may be performed as follows. That is, the controller 4 converts the object image received from the camera 1 into HSV data by using Equation 1 below, and the color and saturation data of each pixel of the converted HSV data are represented by the X-axis color. Expressed in HS two-dimensional space, defined as H) and the Y-axis defined as Saturation (S). The controller 4 extracts color clusters from HSV data represented in the H-S two-dimensional space by applying a Linde-Buzo-Gray (LBG) algorithm. At the same time, the image of the pre-stored object is expressed in H-S two-dimensional space and the LBG algorithm is applied to extract the color cluster.

Figure pat00024
Figure pat00024

이때, H는 색상을 나타내고, S는 채도를 나타내고, V는 명도(Value)를 나타낸다. 그리고, R, G 및 B는 각각 빨강, 초록 및 파랑을 나타낸다.In this case, H represents hue, S represents saturation, and V represents brightness. And R, G and B represent red, green and blue, respectively.

제어부(4)는 LBG 알고리즘을 이용하여 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산하고, 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단한다. 이때, 제어부(4)는 계산된 최소 거리의 합이 작을수록 두 이미지의 색상 유사성이 높은 것으로 판단할 수 있다.
The controller 4 cumulatively calculates the sum of the minimum distances between the midpoints of the color clusters obtained using the LBG algorithm, and determines whether the received object image is similar to the image of the pre-stored object by using the sum of the calculated minimum distances. To judge. In this case, the controller 4 may determine that the color similarity of the two images is higher as the sum of the calculated minimum distances is smaller.

한편, 마커를 부착한 객체가 추적하고자 하는 객체인가의 확인 과정에 대해서 살펴보기로 한다. 객체마다 마커의 부착 위치가 달라질 수 있기 때문에, 마커의 위치 및 각도 조절이 필요하게 된다. 이를 위해서 제어부(4)는 카메라(1)에서 수신된 마커 이미지를 설정된 크기의 5X5 픽셀 블록(block)으로 다운스케일(downscale) 하여 하나의 슈퍼(super) 픽셀의 마커 이미지로 만든 후, 다운스케일된 마커 이미지에 대한 그레이스케일(grayscale) 값의 히스토그램을 계산한다. 이후 제어부(4)는 2-means 분류기를 이용하여 이미지를 바이너리화 하기 위해 그레이스케일값에 대한 임계값을 찾는다. 이때, 그레이스케일값에 대한 임계값은 슈퍼픽셀의 마커 이미지 내 임의의 블록이 흑색 픽셀인지 또는 백색 픽셀인지를 결정하는데 사용된다. 이러한 바이너리화 과정을 통해서 주변의 빛에 적응적이고 빛의 변화에서도 2D 마커의 테두리를 찾을 수 있게 된다.In the meantime, the process of checking whether the object to which the marker is attached is the object to be tracked will be described. Since the attachment position of the marker may vary from object to object, adjustment of the position and angle of the marker is necessary. To this end, the controller 4 downscales the marker image received from the camera 1 to a 5 × 5 pixel block of a predetermined size to make a marker image of one super pixel, and then downscales the image. Compute a histogram of grayscale values for the marker image. The controller 4 then finds a threshold for the grayscale value to binarize the image using the 2-means classifier. The threshold for the grayscale value is then used to determine if any block in the marker image of the superpixel is a black pixel or a white pixel. Through this binarization process, it is able to adapt to the surrounding light and find the edge of the 2D marker even when the light changes.

이후 제어부(4)는 BFS(Breadth-first-search)를 사용하여 슈퍼 픽셀의 마커 이미지 내 각 블록에 연결된 컴포넌트를 검색한다. 이때, 컴포넌트는 슈퍼 픽셀의 마커 이미지 내 흑색 블록을 나타낼 수 있다. Then, the controller 4 searches for a component connected to each block in the marker image of the super pixel using a breadth-first-search (BFS). In this case, the component may represent a black block in the marker image of the super pixel.

제어부(4)는 검색된 컴포넌트들에 대해서 호프 변환(Hough transform)을 하여 1차로 각 연결된 컴포넌트의 네 개의 코너점을 찾는다. 제어부(4)는 상기 1차로 네 개의 코너점을 찾은 후, 상기 네 개의 코너점 주변의 픽셀들을 파악해서 파악된 주변의 픽셀들 중 마커의 기울어짐을 가장 최소화하는 네 개의 코너점을 산출한다. 이렇게 두 번에 걸쳐서 네 개의 코너점을 찾는 이유는 1차로 호프변환을 통해 파악된 네 개의 코너점의 경우 마커의 기울어짐이 반영되지 않았기 때문이다. The controller 4 performs a Hough transform on the retrieved components to find four corner points of each connected component. The controller 4 first finds four corner points, and then calculates four corner points that grasp the pixels around the four corner points to minimize the inclination of the marker among the identified surrounding pixels. The reason for finding the four corner points twice is that the inclination of the marker is not reflected in the four corner points identified through the hop transform.

이후 제어부(4)는 마커가 임의의 각도로 캡쳐될 수 있기 때문에 균형 조정을 위해서 상기 산출된 네 개의 코너점을 평행-평행-매핑(plane-to-plane homography) 으로 조정을 한다. 즉, 산출된 네 개의 코너점의 각도를 평행-평행-매핑으로 설정된 마커의 위치에 맞도록 조절한다. 제어부(4)는 평행-평행-매핑으로 각도가 조정된 마커와 설정된 마커의 일치 여부를 확인하여 마커를 부착한 객체가 추적하고자 하는 객체인가를 판단한다.
The controller 4 then adjusts the calculated four corner points by plane-to-plane homography for balance adjustment because the marker can be captured at any angle. That is, the angles of the calculated four corner points are adjusted to match the position of the marker set to parallel-parallel-mapping. The controller 4 checks whether the marker whose angle is adjusted by the parallel-parallel-mapping matches the set marker and determines whether the object to which the marker is attached is the object to be tracked.

한편, 제어부(4)는 레인지 파인더(미도시)를 포함할 수 있다. 레인지 파인더는 일정한 각 간격으로 레이저를 주변으로 방사 한다. 제어부(4)는 레이저 파인더로부터 방사된 각각의 레이저가 주변 환경에 반사되어 레이저 센서(2)에 돌아오는 시간을 이용하여 레이저가 반사된 지점까지의 거리를 계산한다. 이에 따라 제어부(4)는 레이저의 일정 간격마다 반사되는 지점까지의 거리정보를 얻을 수 있게 된다. 즉, 제어부(4)는 레인지 파인더를 이용하여 주변 환경까지의 거리정보를 파악함으로써 추적하고자 하는 객체까지의 거리를 정확히 파악할 수 있게 된다. On the other hand, the controller 4 may include a range finder (not shown). The range finder radiates the laser around at regular intervals. The controller 4 calculates the distance to the point where the laser is reflected by using the time when each laser emitted from the laser finder is reflected to the surrounding environment and returned to the laser sensor 2. Accordingly, the controller 4 can obtain the distance information up to the point reflected by the laser at regular intervals. That is, the controller 4 can accurately grasp the distance to the object to be tracked by grasping the distance information to the surrounding environment using the range finder.

이때, 레인지파인더가 일정한 각 간격으로 레이저를 송출하고 송출된 레이저가 주변 환경으로부터 반사되어 돌아오는 시간을 이용하여 얻어진 거리를 나타낸 도면이 도 3a에 도시되어 있고, 도 3a에 도시된 각각의 거리에 대해서 Split-and-Merge 알고리즘을 적용해서 찾아낸 주변의 경계선 및 꼭지점과 로봇의 위치를 나타낸 도면이 도 3b에 도시되어 있다. At this time, a view showing the distance obtained by using the time that the rangefinder sends out lasers at regular intervals and the emitted laser is reflected from the surrounding environment is shown in FIG. 3A and at each distance shown in FIG. 3A. FIG. 3B is a diagram showing the perimeter, vertices and positions of the robots found by applying the split-and-merge algorithm.

제어부(4)는 Split-and-Merge 알고리즘을 이용하여 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산한다. 이때 꼭지점들의 동일한 패턴을 맵 정보에서 찾아내기 위해 꼭지점들 사이의 거리와 각 정보를 이용한다. 제어부(4)는 동일한 패턴을 갖는 꼭지점들을 맵정보에서 찾은 이후에 로봇의 위치를 아래의 수학식 2를 이용하여 파악할 수 있다. 이때, 로봇의 위치는 맵에 저장된 꼭지점들과 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 패턴을 비교하여 가장 높은 상관도를 갖는 꼭지점들을 선택하고, 찾은 패턴의 위치를 이용하여 로봇의 위치를 유추할 수 있다. The controller 4 calculates the position and the movement direction of the robot by comparing the vertices of the surroundings found using the split-and-merge algorithm with map information composed of absolute coordinates of the vertices of the surrounding environment. At this time, the distance between the vertices and each information are used to find the same pattern of vertices in the map information. The controller 4 may find the position of the robot after finding vertices having the same pattern in the map information by using Equation 2 below. At this time, the position of the robot is selected by comparing the pattern of the extracted vertices using the distance between the vertices stored in the map and the point where the laser is reflected, selects the vertices with the highest correlation, and uses the position of the found pattern We can infer the position of.

Figure pat00025
Figure pat00025

Figure pat00026
,
Figure pat00026
,

Figure pat00027
Figure pat00027

이때,

Figure pat00028
은 절대원점을 기준으로 한 계산된 로봇의 이동방향이고,
Figure pat00029
은 동일한 패턴을 갖는 꼭지점들의 개수이고,
Figure pat00030
는 꼭지점들의 인덱스이고,
Figure pat00031
는 인덱스 i의 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점이고,
Figure pat00032
는 인덱스 i의 맵정보에 저장된 꼭지점이고,
Figure pat00033
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 집합이고,
Figure pat00034
은 맵정보에 저장된 꼭지점들의 집합이고,
Figure pat00035
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00036
은 맵정보의 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00037
은 절대원점을 기준으로 한 계산된 로봇의 x축 방향 좌표이고,
Figure pat00038
은 절대원점을 기준으로 한 계산된 로봇의 y축 방향 좌표이고,
Figure pat00039
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00040
의 x축 방향 상대좌표이고,
Figure pat00041
는 맵정보의 꼭지점 인덱스
Figure pat00042
의 x축 방향 절대좌표이고,
Figure pat00043
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00044
의 y축 방향 상대좌표이고,
Figure pat00045
는 맵정보의 꼭지점 인덱스
Figure pat00046
의 y축 방향 절대좌표이다.
At this time,
Figure pat00028
Is the calculated direction of robot movement relative to the absolute origin,
Figure pat00029
Is the number of vertices with the same pattern,
Figure pat00030
Is the index of the vertices,
Figure pat00031
Is a vertex extracted using the distance to the point where the laser at index i is reflected,
Figure pat00032
Is the vertex stored in the map information at index i,
Figure pat00033
Is a set of vertices extracted using the distance to the point where the laser is reflected,
Figure pat00034
Is a set of vertices stored in map information,
Figure pat00035
Is an angle formed by the vertex index j based on the vertex index i extracted using the distance to the point where the laser is reflected,
Figure pat00036
Is the angle formed by the vertex index j based on the vertex index i of the map information,
Figure pat00037
Is the x-axis coordinate of the calculated robot about the absolute origin,
Figure pat00038
Is the y-axis coordinate of the computed robot relative to the absolute origin,
Figure pat00039
Is the vertex index extracted from the data in the range finder.
Figure pat00040
Relative coordinate in the x-axis direction of,
Figure pat00041
Is the vertex index of the map information.
Figure pat00042
Absolute coordinate in the x-axis of,
Figure pat00043
Is the vertex index extracted from the data in the range finder.
Figure pat00044
Relative coordinates in the y-axis direction of,
Figure pat00045
Is the vertex index of the map information.
Figure pat00046
Absolute coordinate in the y axis direction.

도 4는 본 발명의 실시예에 따른 객체추적로봇의 객체추적로봇에 대한 플로차트이다.4 is a flowchart of an object tracking robot of the object tracking robot according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 객체추적로봇은 객체 또는 객체에 부착된 마커를 촬영하고, 객체의 RFID 태그로부터 RFID 정보를 수신하고, 레이저 신호를 수신한다(S1).As shown in FIG. 4, the object tracking robot photographs an object or a marker attached to the object, receives RFID information from an RFID tag of the object, and receives a laser signal (S1).

객체 추적 로봇은 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인한다(S2). 이때, 객체 추적 로봇은 객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 상기 카메라에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단할 수 있다. 특히, 색상을 통하여 유사 여부에 대한 판단을 다음과 같이 수행할 수 있다. 즉, 객체 추적 로봇은 카메라에서 수신된 객체 이미지를 상기 수학식 1을 이용하여 HSV 데이터로 변환해서 해당 데이터의 각 픽셀의 색상과 채도 데이터를 X축이 색상(Hue: H)으로 정의되고 Y축이 채도(Saturation : S)로 정의되는 H-S 2차원 공간에 표현한다. 이후, 객체 추적 로봇은 LBG(Linde-Buzo-Gray) 알고리즘을 적용해서 H-S 2차원 공간에 표현된 HSV 데이터에서 색상 클러스터를 추출하며 미리 저장된 객체의 이미지에 대해서도 H-S 2차원 공간으로 표현해서 LBG 알고리즘을 적용해서 색상 클러스터를 추출한다. 객체 추적 로봇은 상기 추출된 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산해서 상기 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지의 색상과 미리 저장된 객체 이미지의 색상의 유사 여부를 판단한다. 이때, 객체 추적 로봇은 상기 계산된 최소 거리의 합이 작을수록 두 이미지의 색상 유사성이 높은 것으로 판단할 수 있다. The object tracking robot checks whether the object is an object to be tracked using any one of an object image received from a camera, a marker image, and RFID information received from an RFID tag (S2). In this case, the object tracking robot may determine whether the object image received from the camera is similar to the image of the object stored in advance through at least one of the shape, color, and texture of the object. In particular, the determination of similarity through colors can be performed as follows. That is, the object tracking robot converts the object image received from the camera into HSV data using Equation 1 above, and defines the color and saturation data of each pixel of the corresponding data as the color (Hue: H) and the Y axis. It is expressed in HS two-dimensional space defined by this saturation (S). After that, the object tracking robot extracts color clusters from HSV data expressed in HS two-dimensional space by applying the Linde-Buzo-Gray (LBG) algorithm, and expresses the LBG algorithm by expressing the image of the pre-stored object in HS two-dimensional space. Apply to extract color clusters. The object tracking robot cumulatively calculates the sum of the minimum distances between the center points of the extracted color clusters and determines whether or not the color of the received object image and the color of the pre-stored object image are similar by using the calculated sum of the minimum distances. To judge. In this case, the object tracking robot may determine that the color similarity of the two images is higher as the sum of the calculated minimum distances is smaller.

한편, 객체 추적 로봇은 마커를 이용하여 추적 객체인가에 대한 판단을 다음과 같이 수행할 수 있다. 즉, 객체 추적 로봇은 상기 카메라에서 수신된 마커 이미지를 설정된 크기의 픽셀 블록(block)으로 다운스케일(downscale) 하여 하나의 슈퍼(super) 픽셀의 마커 이미지로 만든 후, 다운스케일된 마커 이미지에 대한 그레이스케일(grayscale) 값의 히스토그램을 계산한다. 객체 추적 로봇은 2-means 분류기를 이용하여 이미지를 바이너리화 하기 위해 그레이스케일값에 대한 임계값을 찾고, BFS(Breadth-first-search)를 사용하여 슈퍼 픽셀의 마커 이미지 내 각 블록에 연결된 컴포넌트를 검색한다. 객체 추적 로봇은 상기 검색된 컴포넌트들에 대해서 호프 변환(Hough transform)을 하여 1차로 각 연결된 컴포넌트의 네 개의 코너점을 찾는다. 객체 추적 로봇은 상기 1차로 네 개의 코너점을 찾은 후 상기 네 개의 코너점 주변의 픽셀들을 파악해서 파악된 주변의 픽셀들 중 마커의 기울어짐을 가장 최소화하는 네 개의 코너점을 산출한다. 객체 추적 로봇은 상기 산출된 네 개의 코너점의 각도를 평행-평행-매핑(plane-to-plane homography)으로 설정된 마커의 위치에 맞도록 조절하여 일치 여부를 판단할 수 있다.
On the other hand, the object tracking robot can determine whether the tracking object using a marker as follows. That is, the object tracking robot downscales the marker image received from the camera to a pixel block of a predetermined size to make a marker image of one super pixel, and then Compute a histogram of grayscale values. The object tracking robot uses the 2-means classifier to find the threshold for grayscale values to binarize the image, and uses BFS (read-first-search) to find the components connected to each block in the marker image of the superpixel. Search. The object tracking robot performs a Hough transform on the retrieved components to find four corner points of each connected component. The object tracking robot first finds four corner points and then calculates four corner points that minimize the inclination of the marker among the identified surrounding pixels by identifying pixels around the four corner points. The object tracking robot may determine the match by adjusting the calculated angles of the four corner points to match the positions of the markers set by plane-to-plane homography.

이렇게 해당 객체가 추적하고자 하는 객체인 경우, 객체 추적 로봇은 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어한다(S3). 이때, 객체 추적 로봇은, 상기 계산된 거리에 대해서 Split-and-Merge 알고리즘을 이용하여 주변의 경계선 및 꼭지점을 찾아내고, 상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산할 수 있다. 상기 꼭지점들의 동일한 패턴을 맵 정보에서 찾아내기 위해 꼭지점들 사이의 거리와 각 정보를 이용하되, 상기 동일한 패턴을 갖는 꼭지점들을 맵정보에서 찾은 이후에 로봇의 위치를 상기 수학식 2를 이용하여 파악할 수 있다. 이렇게 맵에 저장된 꼭지점들과 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 패턴을 비교하여 가장 높은 상관도를 갖는 꼭지점들을 선택하고, 찾은 패턴의 위치를 이용하여 로봇의 위치를 유추할 수 있게 된다.
When the object is the object to be tracked as described above, the object tracking robot calculates the distance from the object by using the laser signal received by the laser sensor and controls the driving motor to maintain a constant distance from the object (S3). In this case, the object tracking robot finds a boundary and a vertex of the surrounding using a split-and-merge algorithm with respect to the calculated distance, and compares the found vertices with map information composed of absolute coordinates of the vertices of the surrounding environment. Can calculate the position and movement direction of the robot. In order to find the same pattern of the vertices in the map information, the distance between the vertices and each information are used, and after finding the vertices having the same pattern in the map information, the position of the robot can be determined using Equation 2 below. have. The vertices with the highest correlation are selected by comparing the patterns of the extracted vertices by using the distance between the vertices stored in the map and the point where the laser is reflected, and the position of the robot can be inferred using the position of the found pattern. It becomes possible.

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
So far, the present invention has been described with reference to the embodiments. Those skilled in the art will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. Therefore, the scope of the present invention should not be limited to the above-described examples, but should be construed to include various embodiments within the scope and equivalents of the claims.

Claims (18)

객체 또는 객체에 부착된 마커를 촬영하는 카메라;
객체의 RFID 태그로부터 RFID 정보를 수신하는 RF 리시버;
레이저 신호를 수신하는 레이저 센서; 및
상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하고, 추적하고자 하는 객체인 경우 상기 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어하는 제어부를 포함하는, 객체 추적 로봇. A camera for photographing an object or a marker attached to the object;
An RF receiver for receiving RFID information from an RFID tag of the object;
A laser sensor for receiving a laser signal; And
Check whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag, and if the object is to be tracked, the laser signal received by the laser sensor And a control unit for controlling the driving motor to maintain a constant distance from the object by calculating a distance from the object using the object tracking robot. 제 1 항에 있어서,
상기 마커는,
흑색 테두리 내에 흑색 및 백색의 셀로 구성되며, 4비트의 체크썸, 32비트의 에러교정데이터 및 28비트의 정보로 인코딩되는, 객체 추적 로봇. The method of claim 1,
The marker,
An object tracking robot composed of black and white cells within a black border and encoded with 4 bits of checksum, 32 bits of error correction data, and 28 bits of information. 제 2 항에 있어서,
상기 흑색 테두리는,
이미지가 블로어(blur) 되거나 초점이 맞지 않는 경우에 디코딩을 용이하게 하는 역할을 하는, 객체 추적 로봇. The method of claim 2,
The black border is,
An object tracking robot, which serves to facilitate decoding when the image is blown or out of focus. 제 1 항에 있어서,
상기 제어부는,
객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 상기 카메라에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단하는, 객체 추적 로봇. The method of claim 1,
The control unit,
And determining whether the object image received from the camera is similar to the image of the pre-stored object through at least one of an object's shape, color, and texture. 제 4 항에 있어서,
상기 제어부는,
상기 카메라에서 수신된 객체 이미지를 아래의 수학식을 이용하여 HSV 데이터로 변환해서 해당 데이터의 각 픽셀의 색상과 채도 데이터를 X축이 색상(Hue: H)으로 정의되고 Y축이 채도(Saturation : S)로 정의되는 H-S 2차원 공간에 표현하고, LBG(Linde-Buzo-Gray) 알고리즘을 적용해서 H-S 2차원 공간에 표현된 HSV 데이터에서 색상 클러스터를 추출하며 미리 저장된 객체의 이미지에 대해서도 H-S 2차원 공간으로 표현해서 LBG 알고리즘을 적용해서 색상 클러스터를 추출하며, 상기 추출된 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산해서 상기 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지의 색상과 미리 저장된 객체 이미지의 색상의 유사 여부를 판단하는, 객체 추적 로봇.
[수 학 식]
Figure pat00047

이때, H는 색상을 나타내고, S는 채도를 나타내고, V는 명도(Value)를 나타낸다. 그리고, R, G 및 B는 각각 빨강, 초록 및 파랑을 나타낸다.The method of claim 4, wherein
The control unit,
The object image received from the camera is converted into HSV data using the following equation so that the hue and saturation data of each pixel of the data are defined as the color (Hue: H) and the Y axis is the saturation (Saturation: Expressed in HS two-dimensional space defined by S), extracting color clusters from HSV data expressed in HS two-dimensional space by applying Linde-Buzo-Gray (LBG) algorithm, and HS two-dimensional for pre-stored images of objects Color clusters are extracted by applying LBG algorithm, expressed in space, and the sum of the minimum distances of the midpoints of the extracted color clusters is cumulatively calculated, and the color of the received object image is obtained using the sum of the calculated minimum distances. And, object tracking robot to determine whether the color of the pre-stored object image similarity.
[ Mathematical formula ]
Figure pat00047

In this case, H represents hue, S represents saturation, and V represents brightness. And R, G and B represent red, green and blue, respectively. 제 5 항에 있어서,
상기 제어부는,
상기 계산된 최소 거리의 합이 작을수록 두 이미지의 색상 유사성이 높은 것으로 판단하는, 객체 추적 로봇.The method of claim 5, wherein
The control unit,
And the smaller the sum of the calculated minimum distances is, the higher the color similarity of the two images is. 제 1 항에 있어서,
상기 제어부는,
상기 카메라에서 수신된 마커 이미지를 설정된 크기의 픽셀 블록(block)으로 다운스케일(downscale) 하여 하나의 슈퍼(super) 픽셀의 마커 이미지로 만든 후, 다운스케일된 마커 이미지에 대한 그레이스케일(grayscale) 값의 히스토그램을 계산하고, 2-means 분류기를 이용하여 이미지를 바이너리화 하기 위해 그레이스케일값에 대한 임계값을 찾고, BFS(Breadth-first-search)를 사용하여 슈퍼 픽셀의 마커 이미지 내 각 블록에 연결된 컴포넌트를 검색하고, 상기 검색된 컴포넌트들에 대해서 호프 변환(Hough transform)을 하여 1차로 각 연결된 컴포넌트의 네 개의 코너점을 찾고, 상기 1차로 네 개의 코너점을 찾은 후 상기 네 개의 코너점 주변의 픽셀들을 파악해서 파악된 주변의 픽셀들 중 마커의 기울어짐을 가장 최소화하는 네 개의 코너점을 산출하고, 상기 산출된 네 개의 코너점의 각도를 평행-평행-매핑(plane-to-plane homography)으로 설정된 마커의 위치에 맞도록 조절하여 일치 여부를 판단하는, 객체 추적 로봇. The method of claim 1,
The control unit,
Downscales the marker image received from the camera to a pixel block of a predetermined size to form a marker image of one super pixel, and then grayscales the downscaled marker image. Compute the histogram of, find the threshold for grayscale values to binarize the image using the 2-means classifier, and use BFS (Breadth-first-search) to link each block in the marker image of the superpixel. A component is searched, Hough transform is performed on the searched components, the first four corner points of each connected component are found, the first four corner points are found, and then the pixels around the four corner points are found. The four corner points that minimize the inclination of the marker among the detected surrounding pixels, and calculate the four corner points An object tracking robot that determines a match by adjusting an angle of a corner point to correspond to a position of a marker set to plane-to-plane homography. 제 1 항에 있어서,
상기 제어부는,
상기 계산된 거리에 대해서 Split-and-Merge 알고리즘을 이용하여 주변의 경계선 및 꼭지점을 찾아내고, 상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산하는, 객체 추적 로봇. The method of claim 1,
The control unit,
Using the split-and-merge algorithm, the surrounding boundary and vertices are found for the calculated distance, and the found vertices are compared with the map information composed of absolute coordinates of the vertices of the surrounding environment, and the position and movement direction of the robot. Calculate, object tracking robot. 제 8 항에 있어서,
상기 제어부는,
상기 꼭지점들의 동일한 패턴을 맵 정보에서 찾아내기 위해 꼭지점들 사이의 거리와 각 정보를 이용하되,
상기 동일한 패턴을 갖는 꼭지점들을 맵정보에서 찾은 이후에 로봇의 위치를 아래의 수학식을 이용하여 파악하는, 객체 추적 로봇.
[수 학 식]
Figure pat00048
,
Figure pat00049
,
Figure pat00050

이때,
Figure pat00051
은 절대원점을 기준으로 한 계산된 로봇의 이동방향이고,
Figure pat00052
은 동일한 패턴을 갖는 꼭지점들의 개수이고,
Figure pat00053
는 꼭지점들의 인덱스이고,
Figure pat00054
는 인덱스 i의 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점이고,
Figure pat00055
는 인덱스 i의 맵정보에 저장된 꼭지점이고,
Figure pat00056
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 집합이고,
Figure pat00057
은 맵정보에 저장된 꼭지점들의 집합이고,
Figure pat00058
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00059
은 맵정보의 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00060
은 절대원점을 기준으로 한 계산된 로봇의 x축 방향 좌표이고,
Figure pat00061
은 절대원점을 기준으로 한 계산된 로봇의 y축 방향 좌표이고,
Figure pat00062
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00063
의 x축 방향 상대좌표이고,
Figure pat00064
는 맵정보의 꼭지점 인덱스
Figure pat00065
의 x축 방향 절대좌표이고,
Figure pat00066
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00067
의 y축 방향 상대좌표이고,
Figure pat00068
는 맵정보의 꼭지점 인덱스
Figure pat00069
의 y축 방향 절대좌표이다.The method of claim 8,
The control unit,
In order to find the same pattern of vertices in map information, the distance between the vertices and each piece of information are used,
After finding the vertices having the same pattern in the map information, the object tracking robot to determine the position of the robot using the following equation.
[ Mathematical formula ]
Figure pat00048
,
Figure pat00049
,
Figure pat00050

At this time,
Figure pat00051
Is the calculated direction of robot movement relative to the absolute origin,
Figure pat00052
Is the number of vertices with the same pattern,
Figure pat00053
Is the index of the vertices,
Figure pat00054
Is a vertex extracted using the distance to the point where the laser at index i is reflected,
Figure pat00055
Is the vertex stored in the map information at index i,
Figure pat00056
Is a set of vertices extracted using the distance to the point where the laser is reflected,
Figure pat00057
Is a set of vertices stored in map information,
Figure pat00058
Is an angle formed by the vertex index j based on the vertex index i extracted using the distance to the point where the laser is reflected,
Figure pat00059
Is the angle formed by the vertex index j based on the vertex index i of the map information,
Figure pat00060
Is the x-axis coordinate of the calculated robot about the absolute origin,
Figure pat00061
Is the y-axis coordinate of the computed robot relative to the absolute origin,
Figure pat00062
Is the vertex index extracted from the data in the range finder.
Figure pat00063
Relative coordinate in the x-axis direction of,
Figure pat00064
Is the vertex index of the map information.
Figure pat00065
Absolute coordinate in the x-axis of,
Figure pat00066
Is the vertex index extracted from the data in the range finder.
Figure pat00067
Relative coordinates in the y-axis direction of,
Figure pat00068
Is the vertex index of the map information.
Figure pat00069
Absolute coordinate in the y axis direction. 제 9 항에 있어서,
상기 제어부는,
상기 맵에 저장된 꼭지점들과 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 패턴을 비교하여 가장 높은 상관도를 갖는 꼭지점들을 선택하고, 찾은 패턴의 위치를 이용하여 로봇의 위치를 유추하는, 객체 추적 로봇.The method of claim 9,
The control unit,
The vertices having the highest correlation are selected by comparing the patterns of the extracted vertices by using the distance between the vertices stored in the map and the point where the laser is reflected, and inferring the position of the robot by using the position of the found pattern. , Object tracking robot. 객체 또는 객체에 부착된 마커를 촬영하고, 객체의 RFID 태그로부터 RFID 정보를 수신하고, 레이저 신호를 수신하는 데이터 수집 단계;
상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하는 단계; 및
상기 해당 객체가 추적하고자 하는 객체인 경우 상기 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어하는 단계를 포함하는, 객체 추적 로봇의 객체 추적 방법. Photographing an object or a marker attached to the object, receiving RFID information from the RFID tag of the object, and receiving a laser signal;
Checking whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag; And
Controlling the driving motor to maintain a constant distance from the object by calculating a distance from the object by using the laser signal received by the laser sensor when the corresponding object is an object to be tracked. Tracking method. 제 11 항에 있어서,
상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하는 단계는,
객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 상기 카메라에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단하는 단계를 포함하는, 객체 추적 로봇의 객체 추적 방법.The method of claim 11,
Determining whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag,
And determining whether the object image received from the camera is similar to the image of the pre-stored object through at least one of an object shape, color, and texture. 제 12 항에 있어서,
상기 객체의 형상, 색상 및 질감 중 적어도 어느 하나를 통하여 상기 카메라에서 수신된 객체 이미지와 미리 저장된 객체의 이미지의 유사 여부를 판단하는 단계는,
상기 카메라에서 수신된 객체 이미지를 아래의 수학식을 이용하여 HSV 데이터로 변환해서 해당 데이터의 각 픽셀의 색상과 채도 데이터를 X축이 색상(Hue: H)으로 정의되고 Y축이 채도(Saturation : S)로 정의되는 H-S 2차원 공간에 표현하는 단계;
LBG(Linde-Buzo-Gray) 알고리즘을 적용해서 H-S 2차원 공간에 표현된 HSV 데이터에서 색상 클러스터를 추출하며 미리 저장된 객체의 이미지에 대해서도 H-S 2차원 공간으로 표현해서 LBG 알고리즘을 적용해서 색상 클러스터를 추출하는 단계; 및
상기 추출된 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산해서 상기 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지의 색상과 미리 저장된 객체 이미지의 색상의 유사 여부를 판단하는 단계를 포함하는, 객체 추적 로봇의 객체 추적 방법.
[수 학 식]
Figure pat00070

이때, H는 색상을 나타내고, S는 채도를 나타내고, V는 명도(Value)를 나타낸다. 그리고, R, G 및 B는 각각 빨강, 초록 및 파랑을 나타낸다.The method of claim 12,
Determining whether the object image received from the camera is similar to the image of the object stored in advance through at least one of the shape, color, and texture of the object,
The object image received from the camera is converted into HSV data using the following equation so that the hue and saturation data of each pixel of the data are defined as the color (Hue: H) and the Y axis is the saturation (Saturation: Expressing in HS two-dimensional space defined by S);
LBG (Linde-Buzo-Gray) algorithm is applied to extract color clusters from HSV data represented in HS two-dimensional space, and color clusters are extracted by applying LBG algorithm to the image of pre-stored objects in HS two-dimensional space. Making; And
Accumulating the sum of the minimum distances between the center points of the extracted color clusters and determining whether the color of the received object image is similar to the color of the pre-stored object image using the calculated sum of the minimum distances. Object tracking method of the object tracking robot, including.
[ Mathematical formula ]
Figure pat00070

In this case, H represents hue, S represents saturation, and V represents brightness. And R, G and B represent red, green and blue, respectively. 제 13 항에 있어서,
상기 추출된 구한 색상 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산해서 상기 계산된 최소 거리의 합을 이용하여 수신된 객체 이미지의 색상과 미리 저장된 객체 이미지의 색상의 유사 여부를 판단하는 단계는,
상기 계산된 최소 거리의 합이 작을수록 두 이미지의 색상 유사성이 높은 것으로 판단하는, 객체 추적 로봇의 객체 추적 방법.The method of claim 13,
The cumulative calculation of the sum of the minimum distances between the center points of the extracted color clusters to determine whether the color of the received object image and the color of the pre-stored object image are similar using the calculated sum of the minimum distances may include: ,
And the smaller the sum of the calculated minimum distances, the higher the color similarity of the two images. 제 11 항에 있어서,
상기 카메라에서 수신된 객체 이미지, 마커 이미지 및 RFID 태그로부터 수신된 RFID 정보 중 어느 하나를 이용하여 해당 객체가 추적하고자 하는 객체인가를 확인하는 단계는,
상기 카메라에서 수신된 마커 이미지를 설정된 크기의 픽셀 블록(block)으로 다운스케일(downscale) 하여 하나의 슈퍼(super) 픽셀의 마커 이미지로 만든 후, 다운스케일된 마커 이미지에 대한 그레이스케일(grayscale) 값의 히스토그램을 계산하는 단계;
2-means 분류기를 이용하여 이미지를 바이너리화 하기 위해 그레이스케일값에 대한 임계값을 찾고, BFS(Breadth-first-search)를 사용하여 슈퍼 픽셀의 마커 이미지 내 각 블록에 연결된 컴포넌트를 검색하는 단계;
상기 검색된 컴포넌트들에 대해서 호프 변환(Hough transform)을 하여 1차로 각 연결된 컴포넌트의 네 개의 코너점을 찾는 단계;
상기 1차로 네 개의 코너점을 찾은 후 상기 네 개의 코너점 주변의 픽셀들을 파악해서 파악된 주변의 픽셀들 중 마커의 기울어짐을 가장 최소화하는 네 개의 코너점을 산출하는 단계; 및
상기 산출된 네 개의 코너점의 각도를 평행-평행-매핑(plane-to-plane homography)으로 설정된 마커의 위치에 맞도록 조절하여 일치 여부를 판단하는 단계를 포함하는, 객체 추적 로봇의 객체 추적 방법. The method of claim 11,
Determining whether the object is an object to be tracked using any one of an object image received from the camera, a marker image, and RFID information received from an RFID tag,
Downscales the marker image received from the camera to a pixel block of a predetermined size to form a marker image of one super pixel, and then grayscales the downscaled marker image. Calculating a histogram of;
Finding a threshold for a grayscale value to binarize the image using a 2-means classifier and searching for a component connected to each block in the marker image of the superpixel using breadth-first-search (BFS);
Hough transforming the found components to find four corner points of each connected component in a first order;
Finding four corner points in the first order and identifying pixels around the four corner points to calculate four corner points that minimize the inclination of the marker among the identified surrounding pixels; And
And determining the match by adjusting the calculated angles of the four corner points to match the position of the marker set to the plane-to-plane homography. . 제 11 항에 있어서,
상기 해당 객체가 추적하고자 하는 객체인 경우 상기 레이저 센서에 수신된 레이저 신호를 이용하여 객체와의 거리를 계산해서 객체와 일정한 거리를 유지하도록 구동모터를 제어하는 단계는,
상기 계산된 거리에 대해서 Split-and-Merge 알고리즘을 이용하여 주변의 경계선 및 꼭지점을 찾아내는 단계; 와
상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산하는 단계를 포함하는, 객체 추적 로봇의 객체 추적 방법. The method of claim 11,
If the object is an object to be tracked, controlling the driving motor to maintain a constant distance from the object by calculating a distance from the object using the laser signal received by the laser sensor,
Finding surrounding boundaries and vertices using a split-and-merge algorithm with respect to the calculated distance; Wow
And calculating the position and the moving direction of the robot by comparing the found vertices with map information consisting of absolute coordinates of vertices of the surrounding environment. 제 16 항에 있어서,
상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산하는 단계는,
상기 꼭지점들의 동일한 패턴을 맵 정보에서 찾아내기 위해 꼭지점들 사이의 거리와 각 정보를 이용하되,
상기 동일한 패턴을 갖는 꼭지점들을 맵정보에서 찾은 이후에 로봇의 위치를 아래의 수학식을 이용하여 파악하는, 객체 추적 로봇의 객체 추적 방법.
[수 학 식]
Figure pat00071
,
Figure pat00072
,
Figure pat00073

이때,
Figure pat00074
은 절대원점을 기준으로 한 계산된 로봇의 이동방향이고,
Figure pat00075
은 동일한 패턴을 갖는 꼭지점들의 개수이고,
Figure pat00076
는 꼭지점들의 인덱스이고,
Figure pat00077
는 인덱스 i의 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점이고,
Figure pat00078
는 인덱스 i의 맵정보에 저장된 꼭지점이고,
Figure pat00079
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 집합이고,
Figure pat00080
은 맵정보에 저장된 꼭지점들의 집합이고,
Figure pat00081
는 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00082
은 맵정보의 꼭지점 인덱스 i를 기준으로 꼭지점 인덱스 j가 이루는 각이고,
Figure pat00083
은 절대원점을 기준으로 한 계산된 로봇의 x축 방향 좌표이고,
Figure pat00084
은 절대원점을 기준으로 한 계산된 로봇의 y축 방향 좌표이고,
Figure pat00085
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00086
의 x축 방향 상대좌표이고,
Figure pat00087
는 맵정보의 꼭지점 인덱스
Figure pat00088
의 x축 방향 절대좌표이고,
Figure pat00089
는 레인지 파인더의 데이터로부터 추출된 꼭지점 인덱스
Figure pat00090
의 y축 방향 상대좌표이고,
Figure pat00091
는 맵정보의 꼭지점 인덱스
Figure pat00092
의 y축 방향 절대좌표이다.17. The method of claim 16,
Computing the position and the movement direction of the robot by comparing the found vertices with map information consisting of absolute coordinates of the vertices of the surrounding environment,
In order to find the same pattern of vertices in map information, the distance between the vertices and each piece of information are used,
After finding the vertices having the same pattern in the map information, the object tracking method for identifying the position of the robot using the following equation.
[ Mathematical formula ]
Figure pat00071
,
Figure pat00072
,
Figure pat00073

At this time,
Figure pat00074
Is the calculated direction of robot movement relative to the absolute origin,
Figure pat00075
Is the number of vertices with the same pattern,
Figure pat00076
Is the index of the vertices,
Figure pat00077
Is a vertex extracted using the distance to the point where the laser at index i is reflected,
Figure pat00078
Is the vertex stored in the map information at index i,
Figure pat00079
Is a set of vertices extracted using the distance to the point where the laser is reflected,
Figure pat00080
Is a set of vertices stored in map information,
Figure pat00081
Is an angle formed by the vertex index j based on the vertex index i extracted using the distance to the point where the laser is reflected,
Figure pat00082
Is the angle formed by the vertex index j based on the vertex index i of the map information,
Figure pat00083
Is the x-axis coordinate of the calculated robot about the absolute origin,
Figure pat00084
Is the y-axis coordinate of the computed robot relative to the absolute origin,
Figure pat00085
Is the vertex index extracted from the data in the range finder.
Figure pat00086
Relative coordinate in the x-axis direction of,
Figure pat00087
Is the vertex index of the map information.
Figure pat00088
Absolute coordinate in the x-axis of,
Figure pat00089
Is the vertex index extracted from the data in the range finder.
Figure pat00090
Relative coordinates in the y-axis direction of,
Figure pat00091
Is the vertex index of the map information.
Figure pat00092
Absolute coordinate in the y axis direction. 제 17 항에 있어서,
상기 찾아낸 주변의 꼭지점들을 주변 환경의 꼭지점들의 절대적인 좌표로 구성된 맵 정보와 비교하여 로봇의 위치와 이동방향을 계산하는 단계는,
상기 맵에 저장된 꼭지점들과 레이저가 반사된 지점까지의 거리를 이용하여 추출된 꼭지점들의 패턴을 비교하여 가장 높은 상관도를 갖는 꼭지점들을 선택하고, 찾은 패턴의 위치를 이용하여 로봇의 위치를 유추하는, 객체 추적 로봇의 객체 추적 방법.The method of claim 17,
Computing the position and the movement direction of the robot by comparing the found vertices with map information consisting of absolute coordinates of the vertices of the surrounding environment,
The vertices having the highest correlation are selected by comparing the patterns of the extracted vertices by using the distance between the vertices stored in the map and the point where the laser is reflected, and inferring the position of the robot by using the position of the found pattern. , Object tracking method of object tracking robot.
KR1020100082996A 2010-08-26 2010-08-26 Robot and method of tracing object KR101233938B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100082996A KR101233938B1 (en) 2010-08-26 2010-08-26 Robot and method of tracing object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100082996A KR101233938B1 (en) 2010-08-26 2010-08-26 Robot and method of tracing object

Publications (2)

Publication Number Publication Date
KR20120019661A true KR20120019661A (en) 2012-03-07
KR101233938B1 KR101233938B1 (en) 2013-02-15

Family

ID=46128496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100082996A KR101233938B1 (en) 2010-08-26 2010-08-26 Robot and method of tracing object

Country Status (1)

Country Link
KR (1) KR101233938B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102212A1 (en) * 2013-12-31 2015-07-09 고려대학교 산학협력단 Method for evaluating type of distance measured by laser range finder and method for estimating positon of mobile robot by using same
KR20190092788A (en) * 2018-01-31 2019-08-08 주식회사 에디테크놀로지 Method and system for automatically tracking object using drone
KR20220112095A (en) * 2021-02-03 2022-08-10 (주)서울로보틱스 Object tracking apparatus, object tracking, recording medium recording program performing the same
WO2023200075A1 (en) * 2022-04-12 2023-10-19 (주)서울로보틱스 Object tracking device, object tracking method, and recording medium on which program for performing object tracking method is recorded

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612858B1 (en) * 2004-08-23 2006-08-14 삼성전자주식회사 Method and apparatus for tracking human using robot
KR100823739B1 (en) * 2006-12-08 2008-04-21 한국전자통신연구원 Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
JP4413957B2 (en) 2007-08-24 2010-02-10 株式会社東芝 Moving object detection device and autonomous moving object
KR101060988B1 (en) * 2009-01-23 2011-09-01 성균관대학교산학협력단 Apparatus and method for tracking moving objects using intelligent signal strength of Zigbee

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102212A1 (en) * 2013-12-31 2015-07-09 고려대학교 산학협력단 Method for evaluating type of distance measured by laser range finder and method for estimating positon of mobile robot by using same
US10107897B2 (en) 2013-12-31 2018-10-23 Korea University Research And Business Foundation Method for evaluating type of distance measured by laser range finder and method for estimating position of mobile robot by using same
KR20190092788A (en) * 2018-01-31 2019-08-08 주식회사 에디테크놀로지 Method and system for automatically tracking object using drone
KR20220112095A (en) * 2021-02-03 2022-08-10 (주)서울로보틱스 Object tracking apparatus, object tracking, recording medium recording program performing the same
WO2023200075A1 (en) * 2022-04-12 2023-10-19 (주)서울로보틱스 Object tracking device, object tracking method, and recording medium on which program for performing object tracking method is recorded

Also Published As

Publication number Publication date
KR101233938B1 (en) 2013-02-15

Similar Documents

Publication Publication Date Title
US20200334843A1 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
US10685424B2 (en) Dense structure from motion
CN105841687B (en) indoor positioning method and system
JP4612635B2 (en) Moving object detection using computer vision adaptable to low illumination depth
JP5172010B2 (en) Rectangle table detection using RGB and depth measurement hybrid camera sensors
Gschwandtner et al. Infrared camera calibration for dense depth map construction
US20160246302A1 (en) Methods and systems for mobile-agent navigation
WO2022078513A1 (en) Positioning method and apparatus, self-moving device, and storage medium
US20170083760A1 (en) Human detection system for construction machine
WO2022078488A1 (en) Positioning method and apparatus, self-moving device, and storage medium
US10465362B2 (en) Human detection system for construction machine
US11189042B2 (en) Information processing device, information processing method, and computer program
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
JP2019125116A (en) Information processing device, information processing method, and program
KR102089343B1 (en) Around view monitoring system and calibration method for around view cameras
US20220189055A1 (en) Item detection device, item detection method, and industrial vehicle
CN107527368B (en) Three-dimensional space attitude positioning method and device based on two-dimensional code
US11257177B2 (en) Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus
KR101233938B1 (en) Robot and method of tracing object
JP2015194397A (en) Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system
CN110942470A (en) Image processing apparatus
CN108544494A (en) A kind of positioning device, method and robot based on inertia and visual signature
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
WO2020090897A1 (en) Position detecting device, position detecting system, remote control device, remote control system, position detecting method, and program
Mutka et al. A low cost vision based localization system using fiducial markers

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8