KR100991194B1 - System and method for transporting object of mobing robot - Google Patents
System and method for transporting object of mobing robot Download PDFInfo
- Publication number
- KR100991194B1 KR100991194B1 KR1020080074856A KR20080074856A KR100991194B1 KR 100991194 B1 KR100991194 B1 KR 100991194B1 KR 1020080074856 A KR1020080074856 A KR 1020080074856A KR 20080074856 A KR20080074856 A KR 20080074856A KR 100991194 B1 KR100991194 B1 KR 100991194B1
- Authority
- KR
- South Korea
- Prior art keywords
- landmark
- robot
- attached
- moving
- primary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000014616 translation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 101710150115 Sensory rhodopsin-2 Proteins 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 이동 로봇의 물체 운반 시스템 및 방법에 관한 것으로, 특히 정형화된 물체의 위치를 시각 센서로 확인하고 운반하기 위해 자율 주행하는 이동 로봇의 물체 운반 시스템 및 방법에 관한 것이다.The present invention relates to an object transport system and method of a mobile robot, and more particularly, to an object transport system and method of a mobile robot that autonomously travels to identify and transport a position of a standardized object with a visual sensor.
이를 위하여 본 발명은 2차 랜드마크가 부착된 물체의 영상 촬영을 위한 촬영부와, 상기 물체의 운반을 위해 1차 랜드마크가 부착된 지역으로 이동하는 이동부 및, 상기 1차 랜드마크를 인식하여 상기 이동부의 이동을 제어한 후, 상기 물체의 위치를 파악하고 상기 파악된 위치 정보와 상기 물체에 부착된 2차 랜드마크를 인식하여 상기 물체를 집어들어 운반하는 것을 제어하는 제어부를 포함한다.To this end, the present invention recognizes a photographing unit for photographing an object having a secondary landmark attached, a moving unit moving to an area to which the primary landmark is attached to transport the object, and the primary landmark. And controlling the movement of the moving unit, and determining the position of the object, recognizing the identified position information and the secondary landmark attached to the object, and controlling to pick up and transport the object.
로봇, 항법(navigation), 랜드마크 인식, 정형화된 물체 물체 운반 Robots, navigation, landmark recognition, standardized objects
Description
본 발명은 이동 로봇의 물체 운반 시스템 및 방법에 관한 것으로, 특히 정형화된 물체의 위치를 시각 센서로 확인하고 운반하기 위해 자율 주행하는 이동 로봇의 물체 운반 시스템 및 방법에 관한 것이다.The present invention relates to an object transport system and method of a mobile robot, and more particularly, to an object transport system and method of a mobile robot that autonomously travels to identify and transport a position of a standardized object with a visual sensor.
최근 로봇을 이용한 다양한 형태의 어플리케이션이 개발 및 소개되고 있다. 그러나 식당과 같이 복잡한 작업을 요하는 응용 분야는 그 개발성과가 적은 편이다. 특히, 정형화된 물체를 제공하거나 회수하는 등의 작업은 고도의 메니퓰레이터 제어기술과 더불어서 대응되는 물체를 인식하고 그 자세를 정확하게 인식하는 방법이 필요하므로 매우 어렵다.Recently, various types of applications using robots have been developed and introduced. However, applications requiring complex work such as restaurants are less developed. In particular, a task such as providing or retrieving a standardized object is very difficult because of a high manipulator control technique and a method of recognizing a corresponding object and accurately recognizing its posture.
예를 들어, 로봇이 음료를 담고 있는 트레이(Tray)를 사용자의 테이블에 올려 놓거나 회수하는 경우를 가정한다. 이럴 경우, 먼저 로봇은 트레이의 정확한 위치와 테이블의 정확한 위치를 알아야 한다. For example, suppose that the robot puts or retrieves a tray containing a beverage on a user's table. In this case, the robot must first know the exact position of the tray and the exact position of the table.
더불어 틀어진 정도 즉, 각도를 알아야 한다. 상기 각도는 일반적으로 6개의 정보를 알아야 하는 것으로서, 이는 특정 좌표축을 기준으로 x, y, z의 위치 세개와 각 축을 기준으로 회전된 양 세 개를 요구하는 것이다. In addition, you need to know the degree of distortion, that is, the angle. The angle generally requires six pieces of information, which require three positions of x, y and z with respect to a specific coordinate axis and three amounts rotated with respect to each axis.
이와 같이, 취득된 정보를 기준으로 로봇은 트레이를 잡거나 이송할 수 있다. 이때, 로봇팔은 6개의 제한 조건을 만족하기 위해서 적어도 6축 이상의 자유도를 가지고 있어야 한다.In this way, the robot can grab or transfer the tray based on the acquired information. At this time, the robot arm must have at least six degrees of freedom to satisfy the six constraints.
한편, 로봇이 트레이를 이송하는 과정에서 테이블과 같은 장애물을 회피해야하고 정확하게 테이블위에 올려 놓을 수 있어야 하므로 높은 정밀도를 가지고 있어야 한다.On the other hand, the robot must avoid the obstacles such as the table in the process of transporting the tray and must be placed on the table accurately, so it must have high precision.
이와 같이, 높은 자유도를 구현하기 위해서 6축의 자유도를 로봇팔에 할당하고 여유도를 부여하기 위해서 로봇의 허리부위에 약 2축의 자유도를 더 두었다.In this way, six degrees of freedom are allocated to the robot arm in order to realize a high degree of freedom, and two degrees of freedom are added to the waist of the robot to give the degree of freedom.
각 물체는 고유의 패턴을 가지고 있는데, 이는 물체의 자세와는 상관없이 항상 일정한 패턴을 유지하므로 패턴을 검색하면 어떠한 물체인지 인식할 수 있다. 또한, 각 패턴의 이미지상의 위치를 이용하면 대략적인 위치와 자세를 구할 수 있다. 그리고, 스테레오 비전을 이용하면 보다 더 정확하게 그 거리 정보를 구할 수 있다. 간혹 비전 기술이 갖는 부정확성을 보정하기 위해서 매우 정확한 거리 정보를 취득할 수 있는 레이저 거리 센서를 이용하여 거리값을 구하는 경우도 있다.Each object has a unique pattern, which always maintains a constant pattern regardless of the pose of the object, so searching for a pattern can recognize which object it is. In addition, the approximate position and posture can be obtained by using the position on the image of each pattern. And, using stereo vision, the distance information can be obtained more accurately. Sometimes, in order to correct the inaccuracy of vision technology, a distance value can be obtained using a laser distance sensor that can obtain very accurate distance information.
그러나, 이와 같은 종래의 방법은 계산 및 알고리즘의 복잡도가 높기 때문에 높은 수준의 연산장치가 필요할 뿐만 아니라 이미지 데이터 베이스를 구축해야하는 번거로움이 있다.However, such a conventional method has a high computational and algorithmic complexity, and not only requires a high level of computing device, but also hassles of building an image database.
본 발명은 상기한 종래 기술이 안고 있는 문제점을 해결하기 위한 이동 로봇의 물체 운반 시스템 및 방법을 제공한다.The present invention provides an object transport system and method of a mobile robot for solving the problems of the prior art described above.
상기한 바를 달성하기 위한 본 발명에 따른 시스템은 2차 랜드마크가 부착된 물체의 영상 촬영을 위한 촬영부와, 상기 물체의 운반을 위해 1차 랜드마크가 부착된 지역으로 이동하는 이동부 및, 상기 1차 랜드마크를 인식하여 상기 이동부의 이동을 제어한 후, 상기 물체의 위치를 파악하고 상기 파악된 위치 정보와 상기 물체에 부착된 2차 랜드마크를 인식하여 상기 물체를 집어들어 운반하는 것을 제어하는 제어부를 포함한다.The system according to the present invention for achieving the above is a photographing unit for imaging the object of the secondary landmark is attached, a moving unit for moving to the region attached to the primary landmark for transporting the object, Recognizing the primary landmark to control the movement of the moving unit, to grasp the position of the object, recognize the identified position information and the secondary landmark attached to the object to pick up and transport the object It includes a control unit for controlling.
바람직하게, 상기 1차 랜드마크가 부착된 지역은 상기 2차 랜드마크가 부착된 물체가 놓여 있는 전반 1미터 이내의 지역이거나 테이블이다.Preferably, the region to which the primary landmark is attached is an area or table within 1 meter of the first half where the object to which the secondary landmark is attached is placed.
바람직하게 상기 촬영부는 상기 물체의 구도, 거리, 및 위치를 파악하기 위한 시각 센서와, 상기 물체의 영상을 촬영하기 위한 카메라를 포함한다.Preferably, the photographing unit includes a visual sensor for determining the composition, distance, and position of the object, and a camera for capturing an image of the object.
바람직하게, 상기 이동부는 하나 이상의 모터로 구성되는 바퀴 또는 이족(二足)을 구비한다.Preferably, the moving part has a wheel or biped composed of one or more motors.
바람직하게, 상기 제어부는 상기 촬영부에서 촬영된 이미지에서 정형화된 물체의 위치 측정과정에서 정형화된 물체 검출을 향상하고, 잡음과 배경을 견고하게 하는 이미지 전처리 기법을 사용한다.Preferably, the control unit uses an image preprocessing technique to improve the detection of the shaped object in the process of measuring the position of the shaped object in the image photographed by the photographing unit and to solidify the noise and the background.
바람직하게, 상기 1차 랜드마크는 상기 로봇이 인식하여 상기 물체가 있는 장소로 이동하기 위한 1차 인식표이고, 상기 2차 랜드마크는 상기 로봇이 상기 물체를 집어들 때 최소한의 오차를 발생하기 위한 2차 인식표이다.Preferably, the primary landmark is a primary identification table for moving to a place where the object is recognized by the robot, the secondary landmark is for generating a minimum error when the robot picks up the object. Secondary tag.
또한, 본 발명에 따른 방법은 1차 랜드마크가 부착된 소정의 거리까지 글로벌 항법(global navigation)을 수행하는 과정과, 상기 항법 수행 후, 로컬 항법을 이용하여 상기 정형화된 물체가 위치한 지점까지 로컬 항법(local navigation)을 이용하여 이동하는 과정과, 상기 정형화된 물체에 부착된 2차 랜드마크가 인식되면, 상기 로봇 팔을 제어하여 상기 정형화된 물체를 이동하고자 하는 위치로 이동하는 과정을 포함한다.In addition, the method according to the present invention performs a process of performing global navigation to a predetermined distance to which the primary landmark is attached, and after performing the navigation, local navigation is performed to a point where the shaped object is located. Moving by using local navigation, and when the second landmark attached to the shaped object is recognized, controlling the robot arm to move the shaped object to a position to be moved. .
바람직하게, 상기 로컬 항법은 비젼 시스템(vision system)을 이용하여 상기 정형화된 물체가 위치한 1m지점까지 이동하여 상기 로봇에 수직방향으로 정렬된다.Preferably, the local navigation is aligned vertically to the robot by moving to a point of 1 m where the shaped object is located using a vision system.
바람직하게, 상기 정형화된 물체에 부착된 랜드마크가 인식되면, 상기 정형화된 물체가 정렬된 방향과 로봇의 위치, 높이, 및 방위를 맞추는 과정을 포함한다.Preferably, when the landmark attached to the shaped object is recognized, the method includes matching the position, height, and orientation of the robot with the aligned direction.
바람직하게, 상기 정형화된 물체에 부착된 랜드마크가 인식되면 상기 정형화된 물체가 촬영된 이미지에서 상기 정형화된 물체 검출을 향상하고, 잡음과 배경을 견고하게 하는 이미지를 전처리하는 과정을 더 포함한다.Preferably, when the landmark attached to the shaped object is recognized, further comprising the step of pre-processing the image to enhance the detection of the stereotyped object in the image captured by the stereotyped object, and solidify the noise and background.
바람직하게, 상기 전처리는 상기 로봇에 구비된 카메라로부터 인식된 이미지에서 이동시키기 위한 정형화된 물체의 위치를 나타내는 파라미터, 초점길이(focal length) 파라미터, 가로 픽셀과 세로 픽셀을 위한 차등 스켈링 팩터들(different scaling factors), 스크류 팩터들(skew factor), 및 렌즈 왜곡(lens distortion) 파라미터, 회전 매트릭스인 회전(ratations) 파라미터, 및 3개의 파리미터들로 구성되는 3 X 1 벡터인 병진(translations) 파라미터들 중 적어도 하나 이상을 추출한다.Advantageously, said preprocessing comprises: a parameter representing the position of a shaped object for moving in an image recognized from a camera provided in said robot, a focal length parameter, differential scaling factors for horizontal and vertical pixels. scaling factors, screw factors, and lens distortion parameters, a rotations parameter, a rotations matrix, and translations parameters, which are 3
상술한 바와 같이, 본 발명에 따른 이동 로봇의 물체 운반 시스템 및 방법은 복잡도가 낮은 계산 및 알고리즘을 통해서 정형화된 물체를 원하는 위치로 운반할 수 있는 효과가 있다.As described above, the object transport system and method of the mobile robot according to the present invention has the effect of transporting the shaped object to a desired position through a low complexity calculation and algorithm.
또한, 일정패턴으로 카메라를 측정하여 랜드마크와 로봇간의 좌표 상관관계를 도출함으로써 우수한 성능을 발휘할 수 있다.In addition, by measuring the camera in a predetermined pattern to derive the coordinate correlation between the landmark and the robot can exhibit excellent performance.
마지막으로, 로봇과 정형화된 물체의 방향이 정렬이 되면, 로봇팔을 이용하여 정형화된 물체를 회수 하거나 또는 거리가 너무 멀면 에러 메시지를 보낼 수 있기 때문에, 기존 항법에서 사용되는 위치 지정 방법보다 더 정확한 로컬 항법 및 로봇 조작을 할 수 있는 효과가 있다.Finally, if the orientation of the robot and the stereotyped object is aligned, the robotic arm can be used to retrieve the standardized object or send an error message if the distance is too long, making it more accurate than the positioning method used in conventional navigation. Local navigation and robot operation are effective.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.In describing the present invention, when it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
또한 본 발명을 설명함에 있어서, 로봇과 이동 로봇은 같은 의미로 쓰인다.In addition, in describing the present invention, a robot and a mobile robot are used as the same meaning.
도 1은 본 발명의 실시 예에 따르는 이동 로봇의 물체 운반 시스템을 보여주는 블록도이다.1 is a block diagram showing an object carrying system of a mobile robot according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따르는 이동 로봇의 물체 운반 시스템(100)은, 정형화된 물체의 영상 촬영을 위한 촬영부(110)와, 상기 물체의 운반을 위한 이동부(120) 및, 상기 촬영부(110)에서 촬영된 물체의 위치를 파악하고, 상기 이동부(120)의 이동을 제어한 후, 상기 물체의 운반을 제어하는 제어부(130)를 포함하여 구성된다.Referring to FIG. 1, an
도 1과 같이 구성된 본 발명의 실시 예에 따르는 시스템(100)의 동작은 다음과 같다.Operation of the
우선 이동 로봇은 1차 랜드마크가 부착된 장소로 이동한다.First, the mobile robot moves to the place where the primary landmark is attached.
이때 상기 이동은 제어부(130)가 상기 1차 랜드마크의 위치를 인식한 후, 상기 위치로 이동하도록 이동부(120)를 제어한다.In this case, the
바람직하게, 상기 1차 랜드마크는 정형화된 물체가 놓여있는 테이블이 될 수도 있다.Preferably, the primary landmark may be a table on which a shaped object is placed.
이와 같이, 상기 물체에 근접한 후, 상기 촬영부(110)는 상기 물체의 영상을 촬영한다.As such, after approaching the object, the photographing
바람직하게 상기 촬영부(110)는 상기 물체의 구도, 거리, 및 위치를 파악하기 위한 시각 센서가 구비되어 있다.Preferably, the photographing
또한 상기 촬영부(110)는 상기 물체의 영상을 촬영하기 위한 카메라도 구비 되어 있다.In addition, the photographing
이와 같이, 촬영된 영상에 따라 제어부(130)는 상기 물체의 구도, 거리 및 위치를 파악한다.As such, the
또한 제어부(130)는 이렇게 파악된 위치로 상기 물체를 회수하기 위해 이동 로봇의 이동부(120)를 제어하여 이동시킨다.In addition, the
그 후, 이동 로봇은 상기 물체를 집어 기 설정된 위치로 운반한다.Then, the mobile robot picks up the object and carries it to a preset position.
상술한 내용은 이동 로봇이 특정 위치에 있는 정형화된 물체를 회수하는 것에 대해 상술하였지만, 정형화된 물체를 운반하는 것은 당업자로서 자명하다.While the foregoing has described above with regard to the recovery of a shaped object by a mobile robot at a specific location, it is apparent to those skilled in the art to transport a shaped object.
바람직하게 상기 이동부(130)는 하나 이상의 모터로 구성되는 바퀴 또는 이족(二足)을 가지고 있다.Preferably, the moving
여기서 상기 제어부(130)는 촬영부(110)에서 촬영된 이미지에서 정형화된 물체의 위치 측정과정에서 정형화된 물체 검출을 향상하고, 잡음과 배경을 견고하게 하는 이미지 전처리 기법을 사용한다. 상기 촬영된 이미지의 조명에 관한 변수들을 고려할 수 있다.Here, the
보다 상세하게, 상기 제어부(130)는 하기와 같은 모듈이 구비되어 있다.More specifically, the
1. 카메라 측정 및 1. Camera measurement and 랜드마크land mark 위치 평가 모듈 Position evaluation module
상기 제어부(120)는 2D 이미지 정보로부터 3D 공간에서의 목표물과 로봇에 구비된 카메라간의 좌표계 상관 관계를 알아내고, 알아낸 정보로부터 로봇의 항법(navigation)과 조작(manipulation)에 필요한 정보를 도출한다. The
즉, 로봇의 항법과 조작에 필요한 정보를 도출한 이유는 카메라 측정과 위치를 파악하기 위함이다. 이와같이, 카메라 측정과 위치를 파악하기 위해서, 로봇에는 시각 센서가 구비된 하나의 카메라가 구비되어 있고, 또한, 상기 제어부(130)는 일정 패턴으로 그 카메라를 측정하여 랜드마크와 로봇간의 좌표 상관관계를 도출할 수 있다. That is, the reason for deriving the information necessary for navigation and operation of the robot is to grasp the camera measurement and position. In this way, in order to determine the camera measurement and position, the robot is provided with a camera equipped with a visual sensor, and the
바람직하게, 상기 랜드마크는 로봇이 정형화된 물체의 위치, 크기를 알기 위해 정형화된 물체도 붙여질 수 있다.Preferably, the landmark may also be attached to the shaped object in order to know the position and size of the object, the robot is shaped.
그리고, 특정한 패턴을 이용해서 카메라를 측정하는 과정에서 얻어지는 결과는 11개의 파라미터들로 이루어지는데, 이중 5개는 카메라 자체의 보정에 관한 변수이고, 나머지는 패턴에 대한 카메라의 상대적인 위치 또는 방위를 나타낸다. In addition, the result obtained in the process of measuring the camera using a specific pattern consists of 11 parameters, 5 of which are variables related to the calibration of the camera itself, and the rest represent the relative position or orientation of the camera with respect to the pattern. .
본질적인 파라미터에서 얻을 수 있는 정보는 카메라로부터 인식된 이미지에서 이동시키기위한 목표물(예:정형화된 물체)의 위치를 나타내는 파라미터, 초점길이(focal length) 파라미터, 가로 픽셀과 세로 픽셀을 위한 차등 스켈링 팩터들(different scaling factors), 스크류 팩터들(skew factor), 및 렌즈 왜곡(lens distortion) 파라미터가 있다. The information available from the intrinsic parameters includes parameters indicating the position of the target (e.g., a stylized object) for moving in the image recognized from the camera, focal length parameters, and differential scaling factors for horizontal and vertical pixels. (different scaling factors), screw factors, and lens distortion parameters.
그리고, 비본질적인 파라미터로는 3개의 파라미터들로 표현될 수 있는 회전 매트릭스인 회전(ratations) 파라미터, 및 3개의 파리미터들로 구성되는 3 X 1 벡터인 병진(translations) 파라미터들이 있다. Non-essential parameters include a rotations parameter, which is a rotation matrix that can be represented by three parameters, and a translations parameter, which is a 3
상기 본질적인 파라미터는 카메라의 정확한 내부인수의 값으로 주어지고, 좀더 정확한 이미지를 얻게 해주기 때문에, 실제(real world)와 이미지상(image plane)의 매핑시 오차를 줄일 수 있다. The intrinsic parameter is given by the value of the camera's exact internal argument, and can give a more accurate image, thereby reducing the error in the mapping between the real world and the image plane.
그리고, 사용하고 있는 카메라의 본질적인 파라미터를 알고 있고, 랜드마크가 이미지 내에 포함되어 있다면, 카메라의 현재 영상으로부터 랜드마크의 카메라 좌표계에 대한 상대적인 위치를 계산할 수 있다.If the essential parameters of the camera being used are known and the landmark is included in the image, the relative position of the landmark with respect to the camera coordinate system can be calculated from the current image of the camera.
2. SR-II 항법과 조작 모듈2. SR-II Navigation and Operation Module
이동 로봇에서 사용하고자 하는 이미지 처리 시스템, 랜드마트 위치 측정은 단기적으로는 짧은 거리에서 정확한 항법을 제어할 수 있는 정보와 조작에 필요한 정보를 얻기 위한 것이다. 우선, 기능로봇의 주행은 2 단계로 나눌수 있다.The image processing system and landmart position measurement to be used in the mobile robot is to obtain the information necessary to control and the precise navigation control in a short distance. First, the driving of the functional robot can be divided into two stages.
첫 째는 매크로 뷰(macro view)에서의 글로벌 항법(grobal navigation)과 마이크로 뷰(micro view)에서의 로컬 항법(local navigation)으로 나뉠 수 있다. The first can be divided into global navigation in macro view and local navigation in micro view.
1 차적인 목표지점까지의 주행(즉, 마크로 뷰, 글로벌 항법)은 항법 알고리즘으로 제어를 하고, 1차 목표점에서 테이블로의 접근(즉, 마이크로 뷰, 로컬 항법)은 비젼 시스템(vision system)을 사용하게 되며, 도 2에 도시된 바와 같다. Driving to the primary target point (i.e. macro view, global navigation) is controlled by the navigation algorithm, and accessing the table from the primary target point (i.e. micro view, local navigation) to the vision system. It is used, as shown in FIG.
도 2는 본 발명에 따른 2가지의 항법을 나타낸 예시도이다.Figure 2 is an exemplary view showing two navigation according to the present invention.
도 2에 도시된 바와 같이, 주행의 1차 목표 지점은 테이블로부터 1m 이내에 설정되고, 로봇은 테이블 옆면에 수직방향으로 정렬된다. As shown in Fig. 2, the primary target point of travel is set within 1 m from the table, and the robot is aligned vertically to the side surface of the table.
여기서, 로컬 항법은 1차 목표지점에서 2차 목표지점, 즉 조작의 제어가 실행되어 정형화된 물체의 배달/회수가 진행되는 지점으로 이동하는 것이다.Here, the local navigation is to move from the primary target point to the secondary target point, that is, the point at which the control of the operation is performed to deliver / recover the shaped object.
이러한, 조작 작업은 정형화된 물체를 내려 놓을때는 큰 에러 마진을 가지나, 다시 회수 할 때는 작은 에러 마진을 가지게 되는데, 작은 에러 마진을 극복하기 위해 정형화된 물체에 붙어 있는 2차 랜드마크를 사용한다. This operation has a large error margin when laying down a standardized object, but a small error margin when retrieving again, and uses a secondary landmark attached to the shaped object to overcome the small error margin.
조작의 시작은 정형화된 물체에 붙어 있는 작은 2차 랜드마크를 인식하고, 정형화된 물체가 정렬된 방향과 로봇의 방위를 맞춤으로써 실행된다. The start of the operation is performed by recognizing the small secondary landmark attached to the shaped object and aligning the orientation of the robot with the direction in which the shaped object is aligned.
로봇과 정형화된 물체의 방향이 정렬이 되면, 로봇팔을 이용하여 정형화된 물체를 회수하거나 또는 거리가 너무 멀면 에러 메시지를 보낼 수 있다. 이 방법은 정형화된 물체의 상대적인 위치를 계속 업데이트하여 사용하기 때문에, 기존 항법에서 사용되는 오차 범위가 +-5cm인 위치 지정 방법보다 더 정확하게 로컬 항법 및 로봇 조작을 수행할 수 있다.When the direction of the robot and the stereotyped object is aligned, the robotic arm can be used to retrieve the standardized object or send an error message if the distance is too far. Because the method continuously updates and uses the relative position of the shaped object, local navigation and robot manipulation can be performed more accurately than the positioning method with an error range of + -5 cm used in conventional navigation.
도 3은 본 발명의 실시예에 따른 로봇의 물체 운반 방법을 나타낸 순서도이다.3 is a flowchart illustrating a method of transporting an object of a robot according to an exemplary embodiment of the present invention.
도 3을 참조하여, 본 발명의 실시예에 따른 로봇의 물체 운반 방법을 상세히 설명하면 다음과 같다.Referring to Figure 3, it will be described in detail a method for carrying the object of the robot according to an embodiment of the present invention.
우선, 로봇이 정형화된 물체를 회수하기 위해 상기 물체가 위치한 목표 지점까지 1차적인 주행을 한다(S310).First, the robot first travels to a target point where the object is located in order to recover a standardized object (S310).
이러한, 1차적인 목표지점까지의 주행은 로봇이 정형화된 물체가 놓여있는 테이블로부터 1m이내에 까지 이동되는 것을 나타내며, 로봇은 테이블 옆면에 수직방향으로 정렬한다. This driving to the primary target point indicates that the robot is moved within 1 m from the table on which the shaped object is placed, and the robot is aligned perpendicular to the side of the table.
바람직하게, 상기 로봇이 정형화된 물체가 위치한 테이블에는 1차 랜드마크가 부착된다.Preferably, a primary landmark is attached to the table where the robot is formed.
따라서, 상기 로봇은 1차 랜드마크를 인식하여 주행한다.Therefore, the robot recognizes the primary landmark and travels.
이러한 1차적인 목표지점까지 주행이 완료되면, 로봇은 비전 시스템을 사용하여 2차적인 목표 지점까지 주행을 수행한다(S320).When the driving to the first target point is completed, the robot performs the driving to the second target point using the vision system (S320).
바람직하게 상기 비전 시스템의 수행 전 선행되는 켈리브레이션(calibration)에 대해 상술하면 다음과 같다.Preferably, the above-described calibration (calibration) before the vision system is performed as follows.
우선, 내부 변수(intrinsic parameter)를 알고 있어야 한다.First of all, you need to know the intrinsic parameters.
상기 내부 변수는 카메라에 대한 각각의 랜드마크 좌표를 구할 때 사용된다.The internal variable is used to obtain respective landmark coordinates for the camera.
상기 각 랜드마크의 좌표는 외부 변수(extrinsic papameter)로 구성된다The coordinates of each landmark are composed of an extrinsic papameter.
상기 외부 변수는x, y, z 그리고 xangle, yangle, zangle이다.The external variables are x, y, z and xangle, yangle, zangle.
즉, 사용시에는 결국 x, y, z 중에서 적어도 2개 그리고 xangle, yangle, zangle에서 적어도 한개를 알 수 있어야한다.That is, in use, at least two of x, y, and z and at least one of xangle, yangle, and zangle must be known.
즉, 이 상기 조합은 상기 랜드마크를 기준으로 하는 2D 상의 로봇의 위치와 상대각도를 의미한다.In other words, the combination means the position and relative angle of the robot on the 2D relative to the landmark.
이와 같이, 1차적인 주행에서 2차 적인 주행으로 이동하기 위해, 로봇은 제어부(130)에 구비된 로컬 항법 알고리즘을 구동한다. As such, in order to move from the primary driving to the secondary driving, the robot drives a local navigation algorithm provided in the
또한, 제어부(130)는 정형화된 물체의 배달 또는 회수를 하기 위한 지점까지 로봇의 이동부(120)를 제어하여 로봇을 이동시킨다. In addition, the
그리고, 상기 제어부(130)는 에러마진을 낮추기 위해 정형화된 물체에 붙어 있는 2차 랜드마크를 이용하기 위해 촬영부(110)를 제어한다.In addition, the
상기 과정(S320)이 완료되면, 제어부(130)는 2차 랜드마크를 인식하고, 정형화된 물체의 정확한 위치, 방위, 높이를 파악하여 로봇팔을 정형화된 물체에 맞춘다(S340). When the process (S320) is completed, the
여기서 2차 랜드마크가 인식되고, 로봇팔이 정형화된 물체를 잡으면, 로봇은 상기 정형화된 물체를 옮기고자 하는 위치로 이동한다(S350). Here, when the second landmark is recognized and the robot arm catches the shaped object, the robot moves to the position to move the shaped object (S350).
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to the limited embodiments and the drawings, the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
도 1은 본 발명에 따른 시스템을 나타낸 블록도.1 is a block diagram illustrating a system in accordance with the present invention.
도 2는 본 발명에 따른 2가지의 항법을 나타낸 예시도.2 is an exemplary view showing two navigations according to the present invention.
도 3은 본 발명의 실시예에 따른 이동 로봇의 물체 운반 방법을 나타낸 순서도.3 is a flow chart showing a method for carrying an object of a mobile robot according to an embodiment of the present invention.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080074856A KR100991194B1 (en) | 2008-07-31 | 2008-07-31 | System and method for transporting object of mobing robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080074856A KR100991194B1 (en) | 2008-07-31 | 2008-07-31 | System and method for transporting object of mobing robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100013364A KR20100013364A (en) | 2010-02-10 |
| KR100991194B1 true KR100991194B1 (en) | 2010-11-05 |
Family
ID=42087354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080074856A KR100991194B1 (en) | 2008-07-31 | 2008-07-31 | System and method for transporting object of mobing robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100991194B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108942946B (en) * | 2018-08-29 | 2020-06-30 | 中南大学 | Intelligent logistics environment robot loading method and device |
| KR102181815B1 (en) * | 2018-11-23 | 2020-11-24 | 한국전자기술연구원 | Personalized arrangement robot and arrangement method using the same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11221784A (en) | 1998-02-09 | 1999-08-17 | Advanced Display Inc | Aligning method and device |
| KR100578504B1 (en) | 2003-05-26 | 2006-05-12 | 주식회사 에스원 | Method for detecting object and device thereof |
| KR100811887B1 (en) * | 2006-09-28 | 2008-03-10 | 한국전자통신연구원 | Apparatus and method for providing selectively position information having steps accuracy in autonomous mobile robot |
-
2008
- 2008-07-31 KR KR1020080074856A patent/KR100991194B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11221784A (en) | 1998-02-09 | 1999-08-17 | Advanced Display Inc | Aligning method and device |
| KR100578504B1 (en) | 2003-05-26 | 2006-05-12 | 주식회사 에스원 | Method for detecting object and device thereof |
| KR100811887B1 (en) * | 2006-09-28 | 2008-03-10 | 한국전자통신연구원 | Apparatus and method for providing selectively position information having steps accuracy in autonomous mobile robot |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100013364A (en) | 2010-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108109174B (en) | Robot monocular guidance method and system for randomly sorting scattered parts | |
| Xu et al. | Ceiling-based visual positioning for an indoor mobile robot with monocular vision | |
| Luck et al. | Registration of range data using a hybrid simulated annealing and iterative closest point algorithm | |
| EP2144131B1 (en) | Apparatus and method of building map for mobile robot | |
| KR20200041355A (en) | Simultaneous positioning and mapping navigation method, device and system combining markers | |
| Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
| JP6343670B2 (en) | Autonomous mobile device and self-position estimation method | |
| WO2015024407A1 (en) | Power robot based binocular vision navigation system and method based on | |
| CN105717928A (en) | Vision-based robot navigation door-passing method | |
| JP2017120551A (en) | Autonomous traveling device | |
| JP2016170050A (en) | Position attitude measurement device, position attitude measurement method and computer program | |
| KR100991194B1 (en) | System and method for transporting object of mobing robot | |
| Park et al. | Global map generation using LiDAR and stereo camera for initial positioning of mobile robot | |
| JP5462662B2 (en) | Position / orientation measurement apparatus, object identification apparatus, position / orientation measurement method, and program | |
| KR100773271B1 (en) | Method for localization of mobile robot with a single camera | |
| CN109815966A (en) | A kind of mobile robot visual odometer implementation method based on improvement SIFT algorithm | |
| Liu et al. | An image-based accurate alignment for substation inspection robot | |
| Bączyk et al. | Vision-based mobile robot localization with simple artificial landmarks | |
| Qingda et al. | Workpiece posture measurement and intelligent robot grasping based on monocular vision | |
| Kim et al. | Localization of mobile robots from full detection of ceiling outlines | |
| Wang et al. | Mobile robot pose estimation using laser scan matching based on fourier transform | |
| TWI788253B (en) | Adaptive mobile manipulation apparatus and method | |
| Fu et al. | Multi-waypoint visual homing in piecewise linear trajectory | |
| Yu et al. | Design and implementation of vision-based transport for a mobile robot via Kalman filter | |
| CN116100562B (en) | Visual guiding method and system for multi-robot cooperative feeding and discharging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| J201 | Request for trial against refusal decision | ||
| B701 | Decision to grant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20131007 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141006 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151012 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20161012 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |