KR20110116610A - Visual odometry system and method using ground feature - Google Patents

Visual odometry system and method using ground feature Download PDF

Info

Publication number
KR20110116610A
KR20110116610A KR1020100036123A KR20100036123A KR20110116610A KR 20110116610 A KR20110116610 A KR 20110116610A KR 1020100036123 A KR1020100036123 A KR 1020100036123A KR 20100036123 A KR20100036123 A KR 20100036123A KR 20110116610 A KR20110116610 A KR 20110116610A
Authority
KR
South Korea
Prior art keywords
floor
image
robot
camera
pattern
Prior art date
Application number
KR1020100036123A
Other languages
Korean (ko)
Other versions
KR101346510B1 (en
Inventor
김진걸
이윤섭
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020100036123A priority Critical patent/KR101346510B1/en
Publication of KR20110116610A publication Critical patent/KR20110116610A/en
Application granted granted Critical
Publication of KR101346510B1 publication Critical patent/KR101346510B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G01D9/42—Recording indications of measuring instruments by photographic means, e.g. of counters

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

로봇의 이동에 따른 지면의 변화를 촬영하여 로봇의 위치를 인식하는 시스템 및 방법이 개시된다. 지면 특징점을 사용한 영상 주행 기록 시스템은 로봇의 하부에 결합하고, 바닥을 향하여 빛을 발산하는 복수의 광원; 상기 로봇의 하부에 수직으로 결합하고, 상기 광원이 발산하는 빛을 사용하여 바닥의 영상을 촬영하는 카메라; 및, 상기 바닥의 영상에서 상기 바닥의 특징점을 추출하고, 추출한 바닥의 특징점과 상기 카메라가 촬영하는 바닥의 영상을 매칭하여 상기 로봇의 위치를 인식하는 이미지 매칭부를 포함한다. Disclosed are a system and method for recognizing a position of a robot by photographing a change in the ground according to the movement of the robot. An image traveling recording system using the ground feature points includes: a plurality of light sources coupled to the lower part of the robot and emitting light toward the floor; A camera coupled vertically to the lower part of the robot and taking an image of a floor using light emitted from the light source; And an image matching unit extracting a feature point of the floor from the image of the floor, matching the extracted feature point of the floor with an image of the floor photographed by the camera, and recognizing the position of the robot.

Description

지면 특징점을 사용한 영상 주행 기록 시스템 및 방법{VISUAL ODOMETRY SYSTEM AND METHOD USING GROUND FEATURE}VISUAL ODOMETRY SYSTEM AND METHOD USING GROUND FEATURE}

본 발명의 일실시예들은 로봇의 이동에 따른 지면의 변화를 촬영하여 로봇의 위치를 인식하는 방법 및 시스템에 대한 것이다.One embodiment of the present invention relates to a method and system for recognizing the position of a robot by photographing a change in the ground according to the movement of the robot.

최근 하드웨어의 발전과 더불어 서비스 로봇에 대한 수요와 기대가 증가하고 있다. Recently, with the development of hardware, demand and expectation for service robot are increasing.

이러한 서비스 로봇들이 이동 중에 자신의 위치를 인식할 수 있는 시스템 중에 영상을 사용하여 주행 상태를 기록하는 주행 기록 시스템이 있다.Among the systems in which such service robots can recognize their position while moving, there is a driving record system that records driving state using an image.

종래의 주행 기록 시스템은 로봇이 이동하는 주변을 촬영하여 각 물체의 특징점을 추출하고, 특징점의 위치와 개수를 사용하여 각 물체를 식별하였다.The conventional driving record system extracts the feature points of each object by photographing the surroundings of the robot and identifies each object using the location and number of the feature points.

그러나, 로봇의 주변에 있는 물체는 로봇과의 거리가 다양하므로 먼 거리에 있는 물체를 확인하거나 입체적으로 물체를 확인하기 위하여 고성능의 카메라나 듀얼 카메라를 필요로 하였다.However, since the objects around the robot vary in distance from the robot, a high performance camera or a dual camera is required to check the objects at a long distance or to check the objects in three dimensions.

또한, 주변의 각종 물건을 식별하고, 카메라가 로봇에 설치된 위치와의 상관 관계를 사용하여 로봇의 최종 위치를 계산하였으므로, 카메라의 위치가 다른 로봇으로 주행 기록 시스템을 이식한 경우에 로봇의 위치를 계산하기 위해서는 해당 로봇의 기구학적 해석을 필요로 하는 실정이었다.In addition, since the robot's final position was calculated by identifying various objects around it and using the correlation with the position where the camera was installed in the robot, the position of the robot when the driving record system was implanted into a robot with a different camera position The calculation required the kinematic analysis of the robot.

따라서, 고성능 카메라를 사용하지 않고 위치를 인식할 수 있고, 다른 로봇으로 이식이 용이한 주행 기록 방법이나 시스템이 필요한 실정이다.Therefore, there is a need for a driving recording method or system capable of recognizing a location without using a high-performance camera and easily portable to another robot.

본 발명의 일실시예들은 로봇의 하단부에 설치된 카메라로 로봇의 이동에 따른 바닥의 변화를 촬영하고, 바닥의 변화에 기초하여 로봇의 이동과 위치를 계산함으로써 고가의 듀얼 카메라나 기구학적 해석에 의한 위치 추정 알고리즘이 없이도 로봇의 위치를 인식할 수 있는 영상 주행 기록 시스템 및 방법을 제공한다.One embodiment of the present invention is to shoot a change in the floor according to the movement of the robot with a camera installed on the lower end of the robot, by calculating the movement and position of the robot based on the change of the floor by expensive dual camera or kinematic analysis Provided are an image traveling recording system and method capable of recognizing the position of a robot without a position estimation algorithm.

또한, 본 발명의 일실시예들은 다른 추가 장비 없이 카메라와 광원을 로봇의 하단에 결합하는 것만으로 로봇의 위치 인식이 가능하므로 위치 인식 시스템의 이식이 용이한 영상 주행 기록 시스템 및 방법을 제공한다.In addition, one embodiment of the present invention provides an image traveling recording system and method that is easy to implant the position recognition system is possible to recognize the position of the robot by simply combining the camera and the light source to the bottom of the robot without any additional equipment.

본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 시스템은 로봇의 하부에 결합하고, 바닥을 향하여 빛을 발산하는 복수의 광원; 상기 로봇의 하부에 수직으로 결합하고, 상기 광원이 발산하는 빛을 사용하여 바닥의 영상을 촬영하는 카메라; 및, 상기 바닥의 영상에서 상기 바닥의 특징점을 추출하고, 추출한 바닥의 특징점과 상기 카메라가 촬영하는 바닥의 영상을 매칭하여 상기 로봇의 위치를 인식하는 이미지 매칭부를 포함한다. An image traveling recording system using a ground feature point according to an embodiment of the present invention is coupled to the lower portion of the robot, a plurality of light sources for emitting light toward the floor; A camera coupled vertically to the lower part of the robot and taking an image of a floor using light emitted from the light source; And an image matching unit extracting a feature point of the floor from the image of the floor, matching the extracted feature point of the floor with an image of the floor photographed by the camera, and recognizing the position of the robot.

본 발명의 일실시예들은 로봇의 하단부에 설치된 카메라로 로봇의 이동에 따른 바닥의 변화를 촬영하고, 바닥의 변화에 기초하여 로봇의 이동과 위치를 계산함으로써 고가의 듀얼 카메라나 기구학적 해석에 의한 위치 추정 알고리즘이 없이도 로봇의 위치를 인식할 수 있다.One embodiment of the present invention is to shoot a change in the floor according to the movement of the robot with a camera installed on the lower end of the robot, by calculating the movement and position of the robot based on the change of the floor by expensive dual camera or kinematic analysis The robot's position can be recognized without a position estimation algorithm.

또한, 본 발명의 일실시예들은 다른 추가 장비 없이 카메라와 광원을 로봇의 하단에 결합하는 것만으로 로봇의 위치 인식이 가능하므로 위치 인식 시스템의 이식이 용이할 수 있다.In addition, one embodiment of the present invention can be easily implanted in the position recognition system because it is possible to recognize the position of the robot simply by coupling the camera and the light source to the bottom of the robot without any additional equipment.

도 1은 본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 시스템의 개괄적인 모습을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라의 촬영 범위와 광원이 발산하는 빛의 일례이다.
도 3은 본 발명의 일실시예에 따른 카메라의 촬영 범위와 광원이 발산하는 빛의 영역을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 매칭부의 상세 구성을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 주행 기록 방법에 대한 흐름도이다.1 is a view showing an overview of an image traveling recording system using ground feature points according to an embodiment of the present invention.
2 is an example of light emitted from a photographing range and a light source of a camera according to an embodiment of the present invention.
3 is a diagram illustrating a photographing range of a camera and an area of light emitted by a light source according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a detailed configuration of an image matching unit according to an embodiment of the present invention.
5 is a flowchart illustrating an image traveling recording method according to an embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited to the embodiments.

본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 시스템은 영상 주행 기록 시스템이 설치된 로봇의 이동에 따라 변화되는 바닥의 영상을 사용하여 로봇의 위치를 인식함으로써, 고성능 카메라와 복잡한 연산 없이도 로봇의 위치를 인식할 수 있다.The image driving record system using the ground feature point according to an embodiment of the present invention recognizes the position of the robot by using the image of the floor which is changed according to the movement of the robot in which the image driving record system is installed. Can recognize the location of.

도 1은 본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 시스템의 개괄적인 모습을 도시한 도면이다. 1 is a view showing an overview of an image traveling recording system using ground feature points according to an embodiment of the present invention.

본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 시스템은 도 1에 도시된 바와 같이 카메라(120), 복수의 광원(130), 및 이미지 매칭부(140)로 구성될 수 있다. The image driving recording system using the ground feature point according to the exemplary embodiment of the present invention may include a camera 120, a plurality of light sources 130, and an image matching unit 140 as shown in FIG. 1.

카메라(120)는 하부에 이동 수단을 구비하고, 상기 이동 수단에 의하여 바닥과 밀착하지 않고 이동하는 로봇(110)의 하부에 수직으로 결합하고, 광원(130)이 발산하는 빛을 사용하여 바닥의 영상을 촬영한다.Camera 120 is provided with a moving means at the bottom, coupled vertically to the lower portion of the robot 110 to move without being in close contact with the floor by the moving means, using the light emitted from the light source 130 of the floor Shoot the video.

이때, 카메라(120)는 로봇(110)의 하부 중에서 중앙, 또는 이동의 무게 중심이 되는 지점에 결합될 수 있다. 또한, 카메라(120)는 바닥에 수직이 되도록 결합될 수 있다.In this case, the camera 120 may be coupled to a point that becomes a center of gravity or a center of movement among the lower parts of the robot 110. In addition, the camera 120 may be coupled to be perpendicular to the floor.

이때, 카메라(120)는 도 2의 일례(210)에 도시된 바와 같이 로봇이 이동하는 바닥의 일부 영역(211)을 촬영할 수 있다.In this case, as shown in the example 210 of FIG. 2, the camera 120 may photograph a partial area 211 of the floor on which the robot moves.

그리고, 카메라(120)는 단일 웹 카메라일 수 있다.The camera 120 may be a single web camera.

광원(130)은 로봇(110)의 하부에 결합하고, 바닥을 향하여 빛을 발산하여 로봇(110)에 의하여 바닥에 발생하는 음영을 제거한다.The light source 130 is coupled to the lower portion of the robot 110, and emits light toward the bottom to remove the shadow generated on the floor by the robot (110).

이때, 광원(130)은 고휘도 발광 소자일 수 있다. 이때, 고휘도 발광 소자에서 발산되는 빛은 직진성을 가지고 있어서 광원과 수직인 부분은 밝고 주변은 어두운 성질을 가진다.In this case, the light source 130 may be a high luminance light emitting device. At this time, the light emitted from the high-brightness light emitting device has a straightness so that the portion perpendicular to the light source is bright and the surroundings are dark.

따라서, 광원(130)은 도 1의 확대도에 표시된 바와 같이 카메라(120)의 전후 좌우에 위치하며, 도 2의 일례(220)에 도시된 바와 같이 카메라(120)를 중심으로 4방향에서 일정 범위(221)에 빛을 발산할 수 있다.Accordingly, the light source 130 is positioned in front, rear, left, and right of the camera 120 as shown in the enlarged view of FIG. 1, and is constant in four directions about the camera 120 as shown in the example 220 of FIG. 2. Light may be emitted in range 221.

광원(130)이 발산하는 빛의 영역(221)과 카메라(120)가 촬영하는 촬영 범위(211)간의 관계는 이하 도 3을 사용하여 상세히 설명한다.The relationship between the area 221 of light emitted by the light source 130 and the shooting range 211 captured by the camera 120 will be described in detail with reference to FIG. 3.

이미지 매칭부(140)는 카메라(120)가 촬영한 바닥의 영상을 저장하고, 저장된 바닥의 영상과 카메라(120)가 촬영하는 바닥의 영상을 매칭하여 로봇(110)의 위치를 인식한다.The image matching unit 140 stores an image of the floor photographed by the camera 120, and recognizes the position of the robot 110 by matching the stored image of the floor with the image of the floor photographed by the camera 120.

이미지 매칭부(140)는 도1에 도시된 바와 같이 로봇(110)의 내부에 위치할 수도 있고, 별도의 시스템으로 구성될 수도 있다.The image matching unit 140 may be located inside the robot 110 as shown in FIG. 1 or may be configured as a separate system.

이미지 매칭부(140)가 로봇(110)과 별도의 시스템으로 구성된 경우에 카메라(120)는 촬영한 영상을 무선으로 송신하는 송신 시스템을 구비하고, 송신 시스템을 사용하여 촬영한 영상을 이미지 매칭부(140)로 전송할 수 있다.When the image matching unit 140 is configured as a separate system from the robot 110, the camera 120 includes a transmission system for wirelessly transmitting the captured image, and the image matching unit displays the image captured using the transmission system. And transmit to 140.

이미지 매칭부(140)의 상세 구성과 동작은 이하 도 4를 사용하여 상세히 설명한다.Detailed configuration and operation of the image matching unit 140 will be described in detail with reference to FIG. 4.

도 3은 본 발명의 일실시예에 따른 카메라의 촬영 범위와 광원이 발산하는 빛의 영역을 도시한 도면이다. 3 is a diagram illustrating a photographing range of a camera and an area of light emitted by a light source according to an exemplary embodiment of the present invention.

복수의 광원(130)이 발산하는 빛의 영역(311,312,313,314)들은 도 3에 도시된 바와 같이 각각 카메라(120)의 촬영 범위(211)와 겹쳐서 카메라(120)의 촬영 범위(211)내에서 로봇(110)에 의하여 바닥에 발생하는 음영을 제거할 수 있다.The regions 311, 312, 313, and 314 of light emitted by the plurality of light sources 130 overlap the photographing range 211 of the camera 120, respectively, as shown in FIG. 3. 110) it is possible to remove the shadow generated on the floor.

이때, 영역(311)에 상측 광원이 발산하는 빛에 의하여 영역(312)방향으로 발생하는 음영은 영역(312)에 하측 광원이 발산하는 빛에 의하여 제거될 수 있다.In this case, the shadow generated in the direction of the area 312 by the light emitted from the upper light source in the area 311 may be removed by the light emitted from the lower light source in the area 312.

또한, 영역(313)에 좌측 광원이 발산하는 빛에 의하여 영역(314)방향으로 발생하는 음영은 영역(314)에 우측 광원이 발산하는 빛에 의하여 제거될 수 있다.In addition, the shadow generated in the direction of the region 314 by the light emitted from the left light source in the region 313 may be removed by the light emitted from the right light source in the region 314.

즉, 카메라(120)의 촬영 범위(211)을 4방향에서 둘러싼 광원(130)이 발산하는 빛은 서로 다른 광원에 의하여 발생하는 음영을 제거함으로써 카메라(120)가 촬영 범위(211)안에서 음영 없는 바닥의 영상을 촬영하도록 할 수 있다.That is, the light emitted by the light sources 130 surrounding the shooting range 211 of the camera 120 in four directions removes the shadows generated by the different light sources so that the camera 120 has no shadow in the shooting range 211. You can take a picture of the floor.

도 4는 본 발명의 일실시예에 따른 이미지 매칭부의 상세 구성을 도시한 도면이다.4 is a diagram illustrating a detailed configuration of an image matching unit according to an embodiment of the present invention.

이미지 매칭부(140)는 도 4에 도시된 바와 같이 무늬 검출부(410), 저장 매체(420), 비교 매칭부(430) 및 위치 인식부(440)로 구성될 수 있다.As illustrated in FIG. 4, the image matching unit 140 may include a pattern detecting unit 410, a storage medium 420, a comparison matching unit 430, and a location recognizing unit 440.

종래의 위치 인식 시스템은 물체의 모서리와 같은 특징점을 사용하여 로봇 주변의 정보나 이동 상태 및 위치를 인식한다. 그러나, 바닥에는 종래에 사용되던 특징점이 존재하지 않는다. Conventional position recognition systems use feature points, such as the edges of objects, to recognize information or movement states and positions around the robot. However, there are no feature points conventionally used on the floor.

이때, 이미지 매칭부(140)는 바닥에 형성된 무늬를 지면 특징점으로 설정하여 바닥의 변화를 검출할 수 있다.In this case, the image matching unit 140 may set a pattern formed on the floor as a ground feature point to detect a change in the floor.

무늬 검출부(410)는 카메라(120)가 촬영한 바닥의 영상에서 바닥의 무늬를 검출할 수 있다.The pattern detecting unit 410 may detect the pattern of the floor from the image of the floor photographed by the camera 120.

구체적으로 무늬 검출부(120)는 카메라(120)가 촬영한 바닥의 영상에 잡음 제거 필터와 고주파 필터를 사용하여 주변의 다른 바닥과 색상이나 형태가 다른 바닥의 무늬를 검출할 수 있다.In detail, the pattern detecting unit 120 may detect a pattern of a floor having a color or a shape different from that of other surroundings by using a noise removing filter and a high frequency filter on the image of the floor photographed by the camera 120.

이때, 무늬 검출부(410)는 검출된 바닥의 무늬와 카메라(120)가 촬영한 바닥의 영상을 저장 매체(420)에 저장할 수 있다.In this case, the pattern detecting unit 410 may store the detected floor pattern and the image of the floor photographed by the camera 120 in the storage medium 420.

비교 매칭부(430)은 저장 매체(420)에 저장된 바닥의 무늬와 카메라(120)가 촬영하는 바닥의 영상을 비교 매칭하여 서로 매칭되는 포인트인 매칭 포인트를 검색할 수 있다.The comparison matching unit 430 may search for a matching point that is a point matched with each other by comparing and matching the floor pattern stored in the storage medium 420 with the image of the floor photographed by the camera 120.

구체적으로 비교 매칭부(430)는 저장 매체(420)에 저장된 바닥의 무늬와 카메라(120)가 촬영하는 바닥의 영상에 이미지의 이동 및 회전에 따른 차 영상 알고리즘을 사용하여 매칭 포인트를 검색할 수 있다.In detail, the comparison matching unit 430 may search for a matching point by using a difference image algorithm according to the movement and rotation of the image on the floor pattern stored in the storage medium 420 and the floor image captured by the camera 120. have.

일례로, T시간에 촬영한 바닥의 영상에서 검출된 바닥의 무늬를 It라 하고, T+1시간에 촬영한 바닥의 영상을 It +1이라 할 경우에, 비교 매칭부(430)는 It +1을 기준으로 IT를 매칭하여 매칭 포인트인 벡터 값을 추출할 수 있다.In one example, an image of the bottom la of the pattern image detected in the bottom of the bottom taken in time T t I and recording the time T + 1 when as I t +1, comparing the matching unit 430 A vector value that is a matching point may be extracted by matching I T based on I t +1 .

위치 인식부(440)는 비교 매칭부(430)가 검색한 매칭 포인트의 이동 여부와 이동 거리에 기초하여 로봇(110)의 위치를 인식할 수 있다.The position recognition unit 440 may recognize the position of the robot 110 based on whether the matching point searched by the comparison matching unit 430 moves and the moving distance.

구체적으로, 먼저, 위치 인식부(440)는 카메라(120)가 촬영한 영상의 크기와 카메라의 설치 거리에 따른 인자 값을 연관하여 지면의 영상의 한 픽셀에 해당하는 지면의 실 거리 값을 확인할 수 있다. 이때, 카메라의 설치 거리에 따른 인자 값은 카메라(120)와 지면 사이의 거리 값이다.Specifically, first, the position recognizing unit 440 checks the actual distance value of the ground corresponding to one pixel of the ground image by associating a factor value according to the size of the image captured by the camera 120 and the installation distance of the camera. Can be. In this case, the print value according to the installation distance of the camera is a distance value between the camera 120 and the ground.

다음으로, 위치 인식부(440)는 매칭 포인트의 이동 거리에 따라 로봇이 실재로 이동한 거리를 측정하며, 측정된 값과 로봇의 초기 위치를 사용하여 로봇의 현재 위치를 인식할 수 있다.Next, the position recognizing unit 440 measures the distance the robot actually moved according to the moving distance of the matching point, and recognizes the current position of the robot using the measured value and the initial position of the robot.

일례로, 위치 인식부(330)는 3차원의 공간(x,y,z) 중 지면에 해당하는 2차원 x,y축만을 사용하여 위치를 추정합니다.In one example, the position recognition unit 330 estimates the position using only the two-dimensional x, y axis corresponding to the ground in the three-dimensional space (x, y, z).

이때, 로봇의 초기 위치는 데카르트 좌표계를 기준한 x,y축에 0,0으로 시작되고 위치 인식부(330)는, 로봇이 이동한 방향과 거리를 x,y형태로 계산하고, 계산단 방향과 거리에 따라 로봇의 위치를 수정하여 로봇의 현재 위치를 인식할 수 있다.At this time, the initial position of the robot starts with 0,0 on the x, y axis based on the Cartesian coordinate system, and the position recognition unit 330 calculates the direction and distance of the robot in the form of x, y, and calculates the direction of the calculation stage. By modifying the position of the robot according to the distance and the distance can recognize the current position of the robot.

일례로, 위치 인식부(440)는 매칭 포인트 중에 일부만 위치가 변경되었다면 변경되지 않은 매칭 포인트의 위치를 중심으로 로봇(110)이 회전한 것으로 인식할 수 있다.For example, the position recognition unit 440 may recognize that the robot 110 is rotated around the position of the matching point which has not changed if only a part of the matching point is changed.

다른 일례로, 위치 인식부(440)는 매칭 포인트들이 모두 일정 방향으로 일정 거리만큼 이동 하였다면, 로봇(110)이 해당 방향으로 일정 거리만큼 이동한 것으로 인식할 수 있다.As another example, if all of the matching points have moved by a certain distance in a certain direction, the location recognition unit 440 may recognize that the robot 110 has moved by a certain distance in the corresponding direction.

도 5는 본 발명의 일실시예에 따른 영상 주행 기록 방법에 대한 흐름도이다.5 is a flowchart illustrating an image traveling recording method according to an embodiment of the present invention.

단계(S510)에서 카메라(120)는 광원(130)이 제공하는 빛에 의하여 음영이 제거된 바닥의 영상을 촬영할 수 있다.In operation S510, the camera 120 may capture an image of the floor from which the shadow is removed by the light provided by the light source 130.

단계(S520)에서 무늬 검출부(410)는 단계(S510)에서 촬영된 바닥의 영상에서 바닥의 무늬를 검출할 수 있다. In operation S520, the pattern detecting unit 410 may detect the pattern of the floor from the image of the floor photographed in operation S510.

구체적으로 무늬 검출부(120)는 단계(S510)에서 촬영된 바닥의 영상에 잡음 제거 필터와 고주파 필터를 사용하여 바닥의 무늬를 검출하고, 검출된 바닥의 무늬와 카메라(120)가 촬영한 바닥의 영상을 저장 매체(420)에 저장할 수 있다.In detail, the pattern detecting unit 120 detects a pattern of the floor using a noise removing filter and a high frequency filter to the image of the floor photographed in step S510, and detects the pattern of the detected floor pattern and the floor of the floor photographed by the camera 120. The image may be stored in the storage medium 420.

단계(S530)에서 비교 매칭부(430)은 단계(S520)에서 저장된 바닥의 무늬와 단계(S510)에서 촬영된 바닥의 영상을 비교 매칭하여 서로 매칭되는 포인트인 매칭 포인트를 검색할 수 있다. In operation S530, the comparison matching unit 430 may search for a matching point that is a point that is matched with each other by comparing and matching the pattern of the floor stored in operation S520 with the image of the floor photographed in operation S510.

구체적으로 비교 매칭부(430)는 단계(S520)에서 저장된 바닥의 무늬와 단계(S510)에서 촬영된 바닥의 영상에 이미지의 이동 및 회전에 따른 차 영상 알고리즘을 사용하여 매칭 포인트를 검색할 수 있다.In more detail, the comparison matching unit 430 may search for a matching point by using a difference image algorithm according to the movement and rotation of the image on the pattern of the floor stored in the step S520 and the image of the floor captured in the step S510. .

단계(S540)에서 위치 인식부(440)는 단계(S530)에서 검색한 매칭 포인트의 이동 여부와 이동 거리에 기초하여 로봇(110)의 위치를 인식할 수 있다.In operation S540, the location recognizing unit 440 may recognize the location of the robot 110 based on whether the matching point searched in operation S530 moves and the moving distance.

이와 같이, 본 발명의 일실시예에 따른 지면 특징점을 사용한 영상 주행 기록 방법은 로봇의 하단부에 설치된 카메라로 로봇의 이동에 따른 바닥의 변화를 촬영하고, 바닥의 변화에 기초하여 로봇의 이동과 위치를 계산함으로써 고가의 듀얼 카메라나 기구학적 해석에 의한 위치 추정 알고리즘이 없이도 로봇의 위치를 인식할 수 있다.As described above, the image traveling recording method using the ground feature point according to the embodiment of the present invention captures the change of the floor according to the movement of the robot with a camera installed at the lower end of the robot, and moves and positions the robot based on the change of the floor. By calculating, the position of the robot can be recognized without expensive dual camera or kinematic analysis.

또한, 다른 추가 장비 없이 카메라와 광원을 로봇의 하단에 결합하는 것만으로 로봇의 위치 인식이 가능하므로 위치 인식 시스템의 이식이 용이하다.In addition, since the position recognition of the robot is possible by simply combining the camera and the light source at the bottom of the robot without any additional equipment, the position recognition system is easily implanted.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

110: 로봇
120: 카메라
130: 광원
140:이미지 매칭부110: robot
120: camera
130: light source
140: image matching unit

Claims (5)

하부에 이동 수단을 구비하고, 상기 이동 수단에 의하여 바닥과 밀착하지 않고 이동하는 로봇에 장착되는 영상 주행 기록 시스템에 있어서,
상기 로봇의 하부에 결합하고, 바닥을 향하여 빛을 발산하는 복수의 광원;
상기 로봇의 하부에 수직으로 결합하고, 상기 광원이 발산하는 빛을 사용하여 바닥의 영상을 촬영하는 카메라; 및,
상기 바닥의 영상에서 상기 바닥의 특징점을 추출하고, 추출한 바닥의 특징점과 상기 카메라가 촬영하는 바닥의 영상을 매칭하여 상기 로봇의 위치를 인식하는 이미지 매칭부
를 포함하는 지면 특징점을 사용한 영상 주행 기록 시스템. In the video traveling recording system provided with a moving means in the lower portion, mounted on the robot to move without being in close contact with the floor by the moving means,
A plurality of light sources coupled to the lower part of the robot and emitting light toward the floor;
A camera coupled vertically to the lower part of the robot and taking an image of a floor using light emitted from the light source; And,
The image matching unit extracts a feature point of the floor from the image of the floor and matches the extracted feature point of the floor with an image of the floor photographed by the camera to recognize the position of the robot.
Image driving record system using the ground feature point comprising a. 제1항에 있어서,
상기 복수의 광원은 상기 카메라의 전후 좌우에 위치하여 4방향에서 빛을 발산하는 것을 특징으로 하는 지면 특징점을 사용한 영상 주행 기록 시스템.The method of claim 1,
And the plurality of light sources are positioned in front, rear, left and right of the camera, and emit light in four directions. 제1항에 있어서,
상기 이미지 매칭부는,
상기 바닥의 영상에서 바닥의 무늬를 상기 바닥의 특징점으로 검출하는 무늬 검출부;
상기 바닥의 무늬를 저장하는 저장 매체;
상기 저장 매체에 저장된 바닥의 무늬와 상기 카메라가 촬영하는 바닥의 영상을 비교 매칭하여 매칭 포인트를 검색하는 비교 매칭부; 및
상기 매칭 포인트의 이동 여부와 이동 거리에 기초하여 상기 로봇의 위치를 인식하는 위치 인식부
를 포함하는 지면 특징점을 사용한 영상 주행 기록 시스템.The method of claim 1,
The image matching unit,
A pattern detection unit detecting a pattern of the floor as a feature point of the floor in the image of the floor;
A storage medium storing the pattern of the bottom;
A comparison matching unit which searches for a matching point by comparing and matching the pattern of the floor stored in the storage medium with the image of the floor photographed by the camera; And
Position recognition unit for recognizing the position of the robot based on the movement of the matching point and the distance traveled
Image driving record system using the ground feature point comprising a. 제3항에 있어서,
상기 무늬 검출부는,
잡음 제거 필터와 고주파 필터를 사용하여 상기 바닥의 영상에서 바닥의 무늬를 검출하는 것을 특징으로 하는 지면 특징점을 사용한 영상 주행 기록 시스템.The method of claim 3,
The pattern detection unit,
An image driving recording system using a ground feature point, characterized by detecting the pattern of the floor in the image of the floor using a noise canceling filter and a high frequency filter. 제3항에 있어서,
상기 비교 매칭부는,
상기 저장 매체에 저장된 바닥의 무늬와 상기 카메라가 촬영하는 바닥의 영상에 이미지의 이동 및 회전에 따른 차 영상 알고리즘을 사용하여 매칭 포인트를 검색하는 것을 특징으로 하는 지면 특징점을 사용한 영상 주행 기록 시스템.The method of claim 3,
The comparison matching unit,
And a matching point is searched for by using a difference image algorithm according to the movement and rotation of the image to the pattern of the floor stored in the storage medium and the image of the floor photographed by the camera.
KR1020100036123A 2010-04-19 2010-04-19 Visual odometry system and method using ground feature KR101346510B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100036123A KR101346510B1 (en) 2010-04-19 2010-04-19 Visual odometry system and method using ground feature

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100036123A KR101346510B1 (en) 2010-04-19 2010-04-19 Visual odometry system and method using ground feature

Publications (2)

Publication Number Publication Date
KR20110116610A true KR20110116610A (en) 2011-10-26
KR101346510B1 KR101346510B1 (en) 2014-01-02

Family

ID=45030857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036123A KR101346510B1 (en) 2010-04-19 2010-04-19 Visual odometry system and method using ground feature

Country Status (1)

Country Link
KR (1) KR101346510B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104748727A (en) * 2013-12-31 2015-07-01 中国科学院沈阳自动化研究所 Array type high-speed visual odometer and realization method thereof
CN109029423A (en) * 2018-08-10 2018-12-18 国网上海市电力公司 Substation's indoor mobile robot navigation positioning system and its navigation locating method
KR102218120B1 (en) * 2020-09-21 2021-02-22 주식회사 폴라리스쓰리디 Autonomous navigating module, mobile robot including the same and method for estimating its position
KR20210091396A (en) * 2020-01-13 2021-07-22 사회복지법인 삼성생명공익재단 Ringer pole for walking distance and gait analysis, and patient walking satate monitoring system thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105129187B (en) * 2015-09-24 2017-03-29 湖北文理学院 Can automatic lifting material frame suitable for the band light source of vision robot

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100500842B1 (en) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 Robot cleaner, system thereof and method for controlling the same
KR100871115B1 (en) * 2007-05-16 2008-11-28 엘지전자 주식회사 Moving robot and operating method for same
KR20080090367A (en) * 2008-08-26 2008-10-08 엘지전자 주식회사 Moving robot and operating method for same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104748727A (en) * 2013-12-31 2015-07-01 中国科学院沈阳自动化研究所 Array type high-speed visual odometer and realization method thereof
CN104748727B (en) * 2013-12-31 2017-02-15 中国科学院沈阳自动化研究所 Array type high-speed visual odometer and realization method thereof
CN109029423A (en) * 2018-08-10 2018-12-18 国网上海市电力公司 Substation's indoor mobile robot navigation positioning system and its navigation locating method
KR20210091396A (en) * 2020-01-13 2021-07-22 사회복지법인 삼성생명공익재단 Ringer pole for walking distance and gait analysis, and patient walking satate monitoring system thereof
KR102218120B1 (en) * 2020-09-21 2021-02-22 주식회사 폴라리스쓰리디 Autonomous navigating module, mobile robot including the same and method for estimating its position

Also Published As

Publication number Publication date
KR101346510B1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP7004017B2 (en) Object tracking system, object tracking method, program
US10096129B2 (en) Three-dimensional mapping of an environment
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
KR101629649B1 (en) A robot cleaner and control method thereof
EP3349087B1 (en) Moving robot
JP5490911B2 (en) Map generation and update method for mobile robot position recognition
US7321386B2 (en) Robust stereo-driven video-based surveillance
CN212089442U (en) Docking station for robot cleaner, beacon and robot cleaner system
KR101346510B1 (en) Visual odometry system and method using ground feature
KR20110011424A (en) Method for recognizing position and controlling movement of a mobile robot, and the mobile robot using the same
US10782702B2 (en) Robot cleaner and method of controlling the same
KR20160048750A (en) A robot cleaner and control method thereof
JP2009033366A (en) Optical marker system
WO2006030633A1 (en) Object detector
JP4418935B2 (en) Optical marker system
JP4042517B2 (en) Moving body and position detection device thereof
US11691264B2 (en) Mobile robot performing multiple detections using image frames of same optical sensor
Attamimi et al. Real-time 3D visual sensor for robust object recognition
CN102103696A (en) Face identification system, method and identification device with system
KR20130000278A (en) Robot cleaner and controlling method of the same
JP5799232B2 (en) Lighting control device
KR101456172B1 (en) Localization of a mobile robot device, method and mobile robot
JPH10255057A (en) Mobile object extracting device
JP2012198802A (en) Intrusion object detection system
KR100500831B1 (en) Method calculating rotated angles of robot cleaner

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 6