KR101295959B1 - Position estimation apparatus of mobile robot using indoor ceiling image - Google Patents
Position estimation apparatus of mobile robot using indoor ceiling image Download PDFInfo
- Publication number
- KR101295959B1 KR101295959B1 KR1020110107332A KR20110107332A KR101295959B1 KR 101295959 B1 KR101295959 B1 KR 101295959B1 KR 1020110107332 A KR1020110107332 A KR 1020110107332A KR 20110107332 A KR20110107332 A KR 20110107332A KR 101295959 B1 KR101295959 B1 KR 101295959B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- mobile robot
- ceiling
- position measuring
- corner
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 239000003550 marker Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 CCD 카메라 등의 영상촬영장치를 이용하여 천장 영상을 통해 실내용 이동 로봇의 위치를 측정하는 방법에 관한 것으로서, 본 발명의 이동 로봇 위치 측정 장치는 실내 천장의 영상을 촬영하기 위한 영상촬영부, 상기 영상촬영부에 장착되어 천장의 모서리를 포함하는 전체 천장 영상을 얻기 위한 광각 렌즈부, 상기 영상촬영부에서 촬영된 영상을 디지털 영상신호로 처리하기 위한 영상신호 처리부 및 상기 영상신호 처리부에서 나온 영상신호를 이용하여 이동로봇의 위치를 측정하되, 상기 영상신호 중에서 천장의 모서리 및 천장에 위치한 실내등을 인식하고, 인식된 모서리 정보 및 실내등 정보를 이용하여 이동 로봇의 현재 위치를 측정하는 제어부를 포함한다. 본 발명에 의하면, 천장에 인공표식이 부착되어 있는 특정한 공간이 아니라 하더라도, 실내등이 있는 실내 공간이면 어디든지 이동 로봇의 위치를 파악할 수 있는 효과가 있다. The present invention relates to a method for measuring the position of a mobile robot for indoors through a ceiling image using an image photographing device such as a CCD camera, the mobile robot position measuring apparatus of the present invention for taking an image for capturing an image of the indoor ceiling A wide-angle lens unit mounted on the image capturing unit to obtain an entire ceiling image including a corner of a ceiling, an image signal processor for processing the image captured by the image capturing unit as a digital image signal, and the image signal processor Measuring the position of the mobile robot using the image signal, the control unit for recognizing the interior light located on the corner of the ceiling and the ceiling of the video signal, and using the recognized corner information and indoor light information to measure the current position of the mobile robot Include. According to the present invention, even if it is not a specific space having an artificial mark attached to the ceiling, it is possible to grasp the position of the mobile robot anywhere in an indoor space with an indoor lamp.
Description
본 발명은 CCD 카메라 등의 영상촬영장치를 이용하여 천장 영상을 통해 실내용 이동 로봇의 위치를 측정하는 방법에 관한 것으로, 천장에 인공표식을 부착하여 로봇의 위치를 파악하는 기존의 방법과는 달리, 천장에 있는 모서리와 실내등인 자연 표식을 사용하여 이동 로봇의 위치를 측정하는 방법에 관한 것이다.
The present invention relates to a method of measuring the position of a mobile robot for indoor use through a ceiling image using an image photographing device such as a CCD camera, unlike an existing method of determining the position of a robot by attaching an artificial mark to the ceiling. This method relates to a method of measuring the position of a mobile robot using natural markings such as corners on ceilings and interior lights.
비전 센서를 이용하여 이동 로봇이 자신의 위치를 측정하는 방법에는 크게 인공표식과 자연표식을 이용하여 위치를 측정하는 방법이 있다. 그 중에서도 천장 영상을 통해 이동 로봇의 위치를 측정하는 방법에는 천장에 인공표식을 부착하여 그 표식을 통해 로봇의 위치를 측정하는 방법이 많이 개발되고 있다. 이 방법은 인공표식을 적외선 센서를 통해 인식할 수 있는 표식을 사용하거나 특정 인공표식을 사용한다. 이는 천장에 인공표식을 부착하여 로봇의 위치를 측정해야 하므로, 천장에 인공표식을 부착하는데 어려움이 있고, 또한 천장에 인공표식이 부착된 곳에서만 이동 로봇의 위치를 측정할 수 있으므로 한정적인 공간에서만 사용할 수 있다는 문제점이 있다.As a method of measuring the position of a mobile robot using a vision sensor, there are largely methods of measuring a position using artificial marks and natural marks. In particular, a method of measuring the position of the mobile robot through the ceiling image has been developed a method of measuring the position of the robot by attaching an artificial marker to the ceiling and the marker. This method uses a marker that can be recognized by the infrared sensor or a specific artificial marker. This is because it is difficult to attach the artificial marker to the ceiling because it is necessary to measure the position of the robot by attaching artificial markers on the ceiling, and the position of the mobile robot can be measured only where the artificial marker is attached to the ceiling. There is a problem that can be used.
또한 자연표식을 사용하여 이동로봇의 위치를 측정하는 방법 또한 많이 개발 되고 있다. 문, 복도, 게시판 등과 같은 자연표식으로 이동 로봇의 위치를 측정하는 방법이 있지만, 이 방법은 주변과 경계가 뚜렷한 문이나 복도를 찾아서 자연표식으로 사용하여야 하므로, 특정 실내에서만 사용해야 한다는 문제점이 있다.
In addition, a method of measuring the position of a mobile robot using natural markers has also been developed. There is a method of measuring the position of the mobile robot by natural markers such as doors, corridors, and bulletin boards. However, this method has to find a door or corridor that has a clear periphery and a boundary, and thus uses it as a natural marker.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 천장 영상 중에서 모서리와 실내등을 이용하여 이동 로봇의 위치를 측정할 수 있는 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, and an object thereof is to provide an apparatus and method for measuring the position of a mobile robot using a corner and an interior light in the ceiling image.
즉, 본 발명은 비전 센서인 CCD 카메라에 어안렌즈를 부착하여 천장의 전체 영상을 받아와 천장과 벽의 경계면을 추출하고, 천장에 있는 실내등을 구분하여 각각에 ID를 부여하여 이동 로봇의 위치를 파악하며, 실내 천장에 있는 천장 모서리와 실내등만으로 이동 로봇의 위치를 측정하므로, 실내의 어느 공간에 가더라도 천장의 모서리와 실내등을 통해 이동로봇의 위치를 파악할 수 있는 장치 및 방법을 제공하는데 그 목적이 있는 것이다.That is, the present invention attaches a fisheye lens to a CCD camera that is a vision sensor, receives the entire image of the ceiling, extracts the interface between the ceiling and the wall, and classifies the interior light on the ceiling to assign IDs to each of the interior lights. Since the position of the mobile robot is measured only by the ceiling corner and the interior light on the indoor ceiling, the present invention provides a device and a method for identifying the location of the mobile robot through the ceiling corner and indoor light in any space of the room. There is this.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 이동 로봇 위치 측정 장치는 실내 천장의 영상을 촬영하기 위한 영상촬영부, 상기 영상촬영부에 장착되어 천장의 모서리를 포함하는 전체 천장 영상을 얻기 위한 광각 렌즈부, 상기 영상촬영부에서 촬영된 영상을 디지털 영상신호로 처리하기 위한 영상신호 처리부 및 상기 영상신호 처리부에서 나온 영상신호를 이용하여 이동로봇의 위치를 측정하되, 상기 영상신호 중에서 천장의 모서리 및 천장에 위치한 실내등을 인식하고, 인식된 모서리 정보 및 실내등 정보를 이용하여 이동 로봇의 현재 위치를 측정하는 제어부를 포함한다.Mobile robot position measurement apparatus of the present invention for achieving the above object is a wide-angle lens unit for obtaining the entire ceiling image including the corner of the ceiling mounted on the image capture unit, the image capture unit for taking an image of the indoor ceiling And measuring the position of the mobile robot using an image signal processor for processing the image photographed by the image photographing unit as a digital image signal and the image signal from the image signal processor. And a control unit for recognizing the located indoor light and measuring the current position of the mobile robot using the recognized corner information and the indoor light information.
상기 제어부는, 상기 천장의 모서리를 기준으로 상기 실내등에 고유 번호를 부여하고, 고유 번호가 있는 실내등 정보를 이용하여 이동 로봇의 현재 위치를 측정할 수 있다.The controller may assign a unique number to the interior light based on the corner of the ceiling, and measure the current position of the mobile robot by using the interior light information having the unique number.
상기 제어부는, 상기 영상신호 처리부에서 전처리된 영상신호에 대하여 상기 모서리를 추출하는 과정과, 상기 실내등을 추출하는 과정을 수행하고, 추출된 모서리 영상과 실내등 영상을 합성하고, 합성된 영상에서 각 실내등 별로 고유번호를 부여할 수 있다.The controller extracts the corners of the image signal preprocessed by the image signal processor and extracts the interior light, synthesizes the extracted corner image and the interior light image, and synthesizes the interior light from the synthesized image. You can give a unique number for each.
상기 광각 렌즈부는 어안 렌즈(fish-eye lens)인 것이 바람직하다.The wide angle lens unit is preferably a fish-eye lens.
본 발명의 이동 로봇 위치 측정 장치에서의 위치 측정 방법에 있어서, 상기 이동 로봇 위치 측정 장치는 천장 영상을 획득하는 단계, 상기 이동 로봇 위치 측정 장치는 획득된 천장 영상에서 모서리 영상을 검출하는 단계, 상기 이동 로봇 위치 측정 장치는 획득된 천장 영상에서 실내등 영상을 검출하는 단계, 상기 이동 로봇 위치 측정 장치는 상기 모서리 영상과 상기 실내등 영상을 합성하는 단계, 상기 이동 로봇 위치 측정 장치는 상기 합성된 영상에서 상기 실내등의 위치를 계산하는 단계, 상기 이동 로봇 위치 측정 장치는 상기 실내등의 위치를 기반으로 이동 로봇과의 상대적 거리를 계산하는 단계, 상기 이동 로봇 위치 측정 장치는 상기 상대적 거리를 이용하여 이동 로봇의 현재 위치를 측정하는 단계를 포함한다.In the position measuring method in the mobile robot position measuring apparatus of the present invention, the mobile robot position measuring apparatus acquires a ceiling image, the mobile robot position measuring apparatus detects a corner image from the obtained ceiling image, The mobile robot position measuring apparatus detects an indoor light image from the obtained ceiling image, and the mobile robot position measuring apparatus synthesizes the corner image and the indoor light image, and the mobile robot position measuring apparatus is configured to perform the operation on the synthesized image. Calculating a position of an indoor light, and the mobile robot position measuring device calculates a relative distance to the mobile robot based on the position of the indoor light, and the mobile robot position measuring device uses the relative distance to present Measuring the position.
상기 천장 영상을 획득하는 단계 후에, 상기 이동 로봇 위치 측정 장치는 모서리 영상 검출과 실내등 영상 검출을 동시에 수행할 수 있도록, 상기 천장 영상을 이진화하는 단계를 더 포함할 수 있다.After acquiring the ceiling image, the mobile robot position measuring apparatus may further include binarizing the ceiling image to simultaneously perform edge image detection and interior light image detection.
상기 모서리 영상을 검출하는 단계는, 상기 천장 영상에서 에지(edge) 알고리즘을 실행하는 단계, 상기 에지 알고리즘의 수행 결과, 경계선을 추출하는 단계 및 상기 경계선을 이용하여 천장의 구석 부분을 검출하는 단계를 포함하여 이루어질 수 있다.The detecting of the corner image may include executing an edge algorithm on the ceiling image, extracting a boundary line as a result of performing the edge algorithm, and detecting a corner portion of the ceiling using the boundary line. It can be made, including.
상기 실내등 영상을 검출하는 단계는, 상기 천장 영상에서 실내등을 구별하는 단계, 구별된 실내등에 대한 영상 레이블링(labeling)을 실시하는 단계 및 상기 실내등 각각을 구분하는 단계를 포함하여 이루어질 수 있다.
The detecting of the indoor lamp image may include distinguishing the indoor lamp from the ceiling image, performing image labeling on the distinguished indoor lamp, and distinguishing each of the indoor lamps.
본 발명에 의하면, 천장에 인공표식이 부착되어 있는 특정한 공간이 아니라 하더라도, 실내등이 있는 실내 공간이면 어디든지 이동 로봇의 위치를 파악할 수 있는 효과가 있다.
According to the present invention, even if it is not a specific space having an artificial mark attached to the ceiling, it is possible to grasp the position of the mobile robot anywhere in an indoor space with an indoor lamp.
도 1은 본 발명의 일 실시예에 따른 실내에 이동 로봇이 위치한 모습을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촬영된 영상을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 실내등의 중심 좌표를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 실내등의 중심점 좌표를 이용하여 이동 로봇의 위치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇 위치 측정 장치의 내부 구성을 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 이동 로봇 위치 측정 장치에서의 이동 로봇 위치 측정 방법을 보여주는 흐름도이다.1 is a view showing a mobile robot located in the room according to an embodiment of the present invention.
2 is a view showing a captured image according to an embodiment of the present invention.
3 is a view showing the coordinates of the center of the interior light according to an embodiment of the present invention.
4 is a view for explaining the position of the mobile robot using the coordinates of the center point of the interior light according to an embodiment of the present invention.
5 is a block diagram showing an internal configuration of a mobile robot position measuring apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating a method for measuring a mobile robot position in a mobile robot position measuring apparatus according to an embodiment of the present invention.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Also, throughout this specification, when a component is referred to as "comprising ", it means that it can include other components, aside from other components, .
도 1은 본 발명의 일 실시예에 따른 실내에 이동 로봇이 위치한 모습을 도시한 도면이다.1 is a view showing a mobile robot located in the room according to an embodiment of the present invention.
도 1을 참조하면, 실내용 이동 로봇(100)은 천장을 향한 CCD(Charge Coupled Device) 카메라(110)가 부착되어 있다. Referring to FIG. 1, the indoor
본 발명의 일 실시예에서 CCD 카메라(110)는 천장 영상을 촬영하기 위한 영상촬영부의 일례이며, 실시예에 따라서 천장 영상을 촬영할 수 있는 다른 기기가 사용될 수 있음은 당연하다. 본 발명에서는 설명의 편의를 위하여 영상촬영부의 일례로 CCD 카메라(110)의 예를 들어 설명하기로 한다. In one embodiment of the present invention, the
CCD 카메라(110) 위에는 광각렌즈부(120)가 부착되어 있다. The wide-
광각렌즈부(120)는 실내등(40)과 천장과 벽면을 구분하는 모서리(50)를 모두 포함할 수 있도록 광각 영상을 얻기 위함이다. 본 발명의 일 실시예에서 광각렌즈부(120)는 어안 렌즈(fish-eye lens)인 것이 바람직하다.The wide-
참고로 어안 렌즈(fish-eye lens)는 전천(全天)렌즈·스카이렌즈라고도 하며, 보통의 광각렌즈와 달라 화상(畵像)이 비뚤어지게 찍히는 성질, 즉 술통형의 만곡을 남기고 전화면에 균등한 밝기의 상(像)을 맺도록 만든다. 빛이 물 속으로 입사(入射)할 때 굴절하므로, 물고기가 물 속에서 수면을 보면, 180°의 시야를 가진다고 생각되는 점에 착안하여 명명되었다.For reference, a fish-eye lens, also called an all-lens lens or a sky lens, differs from ordinary wide-angle lenses in that an image is skewed, that is, a barrel-shaped curvature on the full screen. Make images of even brightness. Since light refracts as it enters into water, it is named with the view that when a fish sees the surface of water, it has a view of 180 °.
이동 로봇(100)은 CCD 카메라(110)와 광각 렌즈부(120)를 통하여 실내등(40) 영상과, 천장과 벽면을 구분하는 모서리(50) 영상을 얻을 수 있다.
The
도 2는 본 발명의 일 실시예에 따른 촬영된 영상을 보여주는 도면이다.2 is a view showing a captured image according to an embodiment of the present invention.
도 2는 광각 렌즈부(120)와 CCD 카메라(110)를 통해 얻어진 천장 영상의 예시도이다.2 is an exemplary view of a ceiling image obtained through the wide-
도 2를 참조하면, 이동 로봇 위치 측정 장치는 천장의 모서리(50)를 인식하고, 인식된 모서리(50)를 기준으로 실내등(40) 각각에 고유번호를 부여하게 된다. Referring to FIG. 2, the mobile robot position measuring apparatus recognizes an
본 발명의 이동 로봇 측정 장치는, 이렇게 실내등(40)에 고유번호를 부여하게 되면, 이를 기준으로 이동 로봇(100)의 위치를 측정할 수 있게 된다.
When the mobile robot measuring apparatus of the present invention is assigned a unique number to the
도 3은 본 발명의 일 실시예에 따른 실내등의 중심 좌표를 나타내는 도면이다.3 is a view showing the coordinates of the center of the interior light according to an embodiment of the present invention.
도 3을 참조하면, 실내등(40)의 중심점을 좌표로 나타낸 것을 확인할 수있다. Referring to FIG. 3, it can be seen that the center point of the
도 3의 실시예에서 실내등(40)의 중심점을 x축, y축 및 방위각으로 표현할 수 있다. 즉, 실내등(40)의 중심점 좌표값은 (Xc, Yc, θc)로 표현할 수 있다.
In the embodiment of FIG. 3, the center point of the
도 4는 본 발명의 일 실시예에 따른 실내등의 중심점 좌표를 이용하여 이동 로봇의 위치를 설명하기 위한 도면이다.4 is a view for explaining the position of the mobile robot using the coordinates of the center point of the interior light according to an embodiment of the present invention.
도 4를 참조하면, 실내등(40)의 중심점 좌표값은 (Xc, Yc, θc)이고, 이동 로봇(100)의 중심점 좌표값은 (X, Y, θ)이다. 양측의 좌표값을 알기 때문에, 양 즉의 거리를 구할 수 있다. 이로써, 이동 로봇(100)의 위치를 측정할 수 있다. 즉, 실내등(40)의 중심점 좌표값은 고정된 값으로 저장되어 있고, 이에 이동 로봇(100)의 상대적인 비례 관계를 통하여 이동 로봇(100)의 위치를 알 수 있는 것이다.
Referring to FIG. 4, the center point coordinate values of the
도 5는 본 발명의 일 실시예에 따른 이동 로봇 위치 측정 장치의 내부 구성을 보여주는 블록도이다.5 is a block diagram showing an internal configuration of a mobile robot position measuring apparatus according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 이동 로봇 위치 측정 장치는 CCD 카메라(110), 광각 렌즈부(120), 영상신호 처리부(130), 제어부(140)를 포함한다.Referring to FIG. 5, the mobile robot position measuring apparatus of the present invention includes a
CCD 카메라(110)는 실내 천장의 영상을 촬영하는 역할을 한다. CCD 카메라(110)는 영상촬영장치의 일례이며, 본 발명의 다른 실시예에서 CCD 카메라가 아닌 다른 영상촬영장치가 사용될 수 있음은 당연하다.The
광각 렌즈부(120) CCD 카메라(110)에 장착되어 천장의 모서리를 포함하는 전체 천장 영상을 얻기 위해 사용된다. 본 발명의 일 실시예에서 광각 렌즈부(120)는 어안 렌즈인 것이 바람직하다.The wide-
영상신호 처리부(130)는 CCD 카메라(110)에서 촬영된 영상을 디지털 영상신호로 처리하는 역할을 한다.The
제어부(140)는 영상신호 처리부에서 나온 영상신호를 이용하여 이동로봇의 위치를 측정하되, 영상신호 중에서 천장의 모서리(50) 및 천장에 위치한 실내등(40)을 인식하고, 인식된 모서리 정보 및 실내등 정보를 이용하여 이동 로봇의 현재 위치를 측정한다. The
본 발명에서 제어부(140)는, 천장의 모서리(50)를 기준으로 실내등(40)에 고유 번호를 부여하고, 고유 번호가 있는 실내등 정보를 이용하여 이동 로봇(100)의 현재 위치를 측정할 수 있다.In the present invention, the
이때, 제어부(140)는 영상신호 처리부(130)에서 전처리된 영상신호에 대하여 모서리(50)를 추출하는 과정과, 실내등(40)을 추출하는 과정을 수행하고, 추출된 모서리 영상과 실내등 영상을 합성하고, 합성된 영상에서 각 실내등 별로 고유번호를 부여하는 방식으로 절차를 수행할 수 있다.At this time, the
구동부(150)는 이동 로봇(100)을 구동시키는 역할을 하며, 제어부(140)의 제어에 따라 이동 로봇(100)을 구동시킬 수 있다.
The driving
이러한 구조를 갖는 이동 로봇 위치 측정 장치에서의 이동 로봇 위치 측정 방법을 설명하면 다음과 같다.The mobile robot position measuring method in the mobile robot position measuring apparatus having such a structure is as follows.
도 6은 본 발명의 일 실시예에 따른 이동 로봇 위치 측정 장치에서의 이동 로봇 위치 측정 방법을 보여주는 흐름도이다.6 is a flowchart illustrating a method for measuring a mobile robot position in a mobile robot position measuring apparatus according to an embodiment of the present invention.
도 6을 참조하면, 이동 로봇 위치 측정 장치는 천장 영상을 획득한다(S601).Referring to FIG. 6, the mobile robot position measuring apparatus acquires a ceiling image (S601).
그리고, 천장 영상의 왜곡 현상을 보정한다(S603). 그리고, 이동 로봇 위치 측정 장치는 영상 이진화를 수행한다(S605).The distortion of the ceiling image is corrected (S603). The mobile robot position measuring apparatus performs image binarization (S605).
영상 이진화 결과, 실내등(40) 영상 추출과 모서리(50) 영상 추출을 동시에 진행한다. As a result of image binarization, the interior light 40 image extraction and the
먼저, 천장 영상에서 실내등(40)을 구별한다(S607). 그리고, 실내등(40) 영상에 영상 레이블링(labeling)을 실시한다(S609). 그리고, 실내등(40) 각각을 구분한다(S611).First, the
다음, 천장 영상에서 에지(Edge) 알고리즘을 실행한다(S613). 그리고, 경계선을 추출한다(S615), 그리고, 천장의 구석을 검출한다(S617).Next, an edge algorithm is executed on the ceiling image (S613). Then, the boundary line is extracted (S615), and the corner of the ceiling is detected (S617).
이렇게 추출된 실내등 영상과 모서리 영상을 합성한다(S619).The extracted interior light image and the corner image are synthesized (S619).
합성 영상에서 실내등(40) 중심값을 계산한다(S621).The center value of the
각각의 실내등(40)에 고유 번호(ID)를 부여한다(S623).A unique number (ID) is assigned to each indoor lamp 40 (S623).
그리고, 실내등(40)과 이동 로봇(100)의 상대적 거리를 계산한다(S625). 본 발명에서 S625 단계의 상대적 거리 계산 과정은, 앞서 도 4에서 설명한 바 있다.Then, the relative distance between the
다음, 계산된 상대적 거리를 이용하여 현재 이동 로봇(100)의 위치를 파악한다(S627).
Next, the position of the current
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.
110 CCD 카메라 120 광각 렌즈부
130 영상신호 처리부 140 제어부
150 구동부 40 실내등
50 모서리110
130
150
50 corners
Claims (8)
상기 영상촬영부에 장착되어 천장의 모서리를 포함하는 전체 천장 영상을 얻기 위한 광각 렌즈부;
상기 영상촬영부에서 촬영된 영상을 디지털 영상신호로 처리하기 위한 영상신호 처리부; 및
상기 영상신호 처리부에서 나온 영상신호를 이용하여 이동 로봇의 위치를 측정하되, 상기 영상신호 처리부에서 전처리된 영상신호에 대하여 천장의 모서리를 추출하는 과정과 실내등을 추출하는 과정을 수행하고, 상기 추출된 천장의 모서리 영상과 실내등 영상을 합성하고, 합성된 영상에서 상기 천장의 모서리를 기준으로 상기 실내등에 고유 번호를 부여하고, 고유 번호가 있는 실내등 정보를 이용하여 이동 로봇의 현재 위치를 측정하는 제어부를 포함하는 이동 로봇의 위치 측정 장치.
An image capturing unit for capturing an image of an indoor ceiling;
A wide-angle lens unit mounted on the image capturing unit to obtain a whole ceiling image including an edge of a ceiling;
An image signal processor for processing the image photographed by the image photographing unit into a digital image signal; And
The position of the mobile robot is measured by using the image signal from the image signal processor, and the corners of the ceiling and the interior light are extracted with respect to the image signal preprocessed by the image signal processor. A control unit for synthesizing the ceiling corner image and the interior light image, assigning a unique number to the interior light based on the corner of the ceiling in the synthesized image, and measuring the current position of the mobile robot using the interior light information having the unique number. Position measuring device of the mobile robot comprising.
상기 광각 렌즈부는 어안 렌즈(fish-eye lens)인 것임을 특징으로 하는 이동 로봇의 위치 측정 장치.
The method of claim 1,
And the wide-angle lens unit is a fish-eye lens.
상기 이동 로봇 위치 측정 장치는 천장 영상을 획득하는 단계;
상기 이동 로봇 위치 측정 장치는 모서리 영상 검출과 실내등 영상 검출을 동시에 수행할 수 있도록, 상기 천장 영상을 이진화하는 단계;
상기 이동 로봇 위치 측정 장치는 획득된 천장 영상에서 모서리 영상을 검출하는 단계;
상기 이동 로봇 위치 측정 장치는 획득된 천장 영상에서 실내등 영상을 검출하는 단계;
상기 이동 로봇 위치 측정 장치는 상기 모서리 영상과 상기 실내등 영상을 합성하는 단계;
상기 이동 로봇 위치 측정 장치는 상기 합성된 영상에서 상기 실내등의 위치를 계산하는 단계;
상기 이동 로봇 위치 측정 장치는 상기 실내등의 위치를 기반으로 이동 로봇과의 상대적 거리를 계산하는 단계;
상기 이동 로봇 위치 측정 장치는 상기 상대적 거리를 이용하여 이동 로봇의 현재 위치를 측정하는 단계를 포함하되,
상기 모서리 영상을 검출하는 단계는, 상기 천장 영상에서 에지(edge) 알고리즘을 실행하는 단계, 상기 에지 알고리즘의 수행 결과, 경계선을 추출하는 단계 및 상기 경계선을 이용하여 천장의 구석 부분을 검출하는 단계를 포함하여 이루어지고,
상기 실내등 영상 검출하는 단계는, 상기 천장 영상에서 실내등을 구별하는 단계, 구별된 실내등에 대한 영상 레이블링(labeling)을 실시하는 단계 및 상기 실내등 각각을 구분하는 단계를 포함하여 이루어지는 것을 특징으로 하는 이동 로봇 위치 측정 방법.
In the position measuring method in the mobile robot position measuring device,
The mobile robot position measuring device obtaining a ceiling image;
Binarizing the ceiling image so that the mobile robot position measuring apparatus can simultaneously perform edge image detection and interior light image detection;
Detecting, by the mobile robot position measuring device, an edge image from the acquired ceiling image;
The mobile robot position measuring apparatus detects an indoor light image from the acquired ceiling image;
The mobile robot position measuring device synthesizes the corner image and the indoor light image;
Calculating, by the mobile robot position measuring device, the position of the room light in the synthesized image;
The mobile robot position measuring device calculates a relative distance to the mobile robot based on the position of the room light;
The mobile robot position measuring device includes the step of measuring the current position of the mobile robot using the relative distance,
The detecting of the corner image may include executing an edge algorithm on the ceiling image, extracting a boundary line as a result of performing the edge algorithm, and detecting a corner portion of the ceiling using the boundary line. Made, including
The detecting of the interior light image may include distinguishing the interior light from the ceiling image, performing image labeling on the distinguished interior light, and distinguishing each interior light. How to measure position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110107332A KR101295959B1 (en) | 2011-10-20 | 2011-10-20 | Position estimation apparatus of mobile robot using indoor ceiling image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110107332A KR101295959B1 (en) | 2011-10-20 | 2011-10-20 | Position estimation apparatus of mobile robot using indoor ceiling image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130043305A KR20130043305A (en) | 2013-04-30 |
| KR101295959B1 true KR101295959B1 (en) | 2013-08-13 |
Family
ID=48441562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110107332A KR101295959B1 (en) | 2011-10-20 | 2011-10-20 | Position estimation apparatus of mobile robot using indoor ceiling image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101295959B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9170581B2 (en) | 2013-09-30 | 2015-10-27 | Crown Equipment Limited | Industrial vehicles with overhead light based localization |
| KR101470761B1 (en) * | 2013-11-21 | 2014-12-08 | 충북대학교 산학협력단 | Parking Control Apparatus and Method for Omni-directional Telepresence Mobile Robot |
| US9174830B1 (en) | 2014-09-29 | 2015-11-03 | Crown Equipment Limited | Industrial vehicles with point fix based localization |
| CN108332752B (en) * | 2018-01-09 | 2021-04-20 | 深圳市无限动力发展有限公司 | Indoor robot positioning method and device |
| FR3083607A1 (en) * | 2018-07-06 | 2020-01-10 | Balyo | POSITIONING METHOD AND DEVICE FOR VEHICLE, AND VEHICLE COMPRISING SUCH A DEVICE |
| CN109683605B (en) * | 2018-09-25 | 2020-11-24 | 上海肇观电子科技有限公司 | Robot and automatic recharging method and system thereof, electronic equipment and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100564236B1 (en) * | 2001-09-26 | 2006-03-29 | 현대중공업 주식회사 | Self-localization apparatus and method of mobile robot |
| KR20060074044A (en) * | 2004-12-27 | 2006-07-03 | 주식회사 아이오. 테크 | Robot position estimation method by the ceiling image |
-
2011
- 2011-10-20 KR KR1020110107332A patent/KR101295959B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100564236B1 (en) * | 2001-09-26 | 2006-03-29 | 현대중공업 주식회사 | Self-localization apparatus and method of mobile robot |
| KR20060074044A (en) * | 2004-12-27 | 2006-07-03 | 주식회사 아이오. 테크 | Robot position estimation method by the ceiling image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130043305A (en) | 2013-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101295959B1 (en) | Position estimation apparatus of mobile robot using indoor ceiling image | |
| CN107615334B (en) | Object recognition device and object recognition system | |
| JP5490911B2 (en) | Map generation and update method for mobile robot position recognition | |
| KR101740231B1 (en) | Method and apparatus for estimating 3d face position | |
| US9295141B2 (en) | Identification device, method and computer program product | |
| AU2015282374B2 (en) | Vehicle position confirmation system of parking lot using imaging method and control method thereof | |
| WO2011059127A1 (en) | Infrared sensor and sensing method using the same | |
| JP2010190432A (en) | Spatial recognition device and air conditioner | |
| JPWO2009019887A1 (en) | Image processing apparatus and image processing method | |
| JP2010521733A (en) | Land recognition landmark for mobile robot, and position recognition apparatus and method using the same | |
| JP5930135B2 (en) | Two-dimensional code reader | |
| WO2017215351A1 (en) | Method and apparatus for adjusting recognition range of photographing apparatus | |
| CN107005655A (en) | Image processing method | |
| KR101850835B1 (en) | Method of estimating the location of mobile robot using ray-tracing technique | |
| JP2004133567A (en) | Mobile object and its position detector | |
| CN109143001A (en) | pantograph detection system | |
| US9773143B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
| US8488213B2 (en) | Methods and systems for no-touch scanning | |
| KR101420242B1 (en) | vehicle detector and method using stereo camera | |
| CN110728703B (en) | Registration fusion method for visible light image and solar blind ultraviolet light image | |
| KR101305405B1 (en) | Method for Localizing Intelligent Mobile Robot by using a lateral landmark | |
| JP2014191685A (en) | Image processing apparatus and image processing method | |
| JP2015041913A (en) | Monitor system | |
| KR20120108277A (en) | Method for localizing intelligent mobile robot by using both natural landmark and artificial landmark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |