WO2012018168A1 - 타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법 - Google Patents

타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법 Download PDF

Info

Publication number
WO2012018168A1
WO2012018168A1 PCT/KR2011/001190 KR2011001190W WO2012018168A1 WO 2012018168 A1 WO2012018168 A1 WO 2012018168A1 KR 2011001190 W KR2011001190 W KR 2011001190W WO 2012018168 A1 WO2012018168 A1 WO 2012018168A1
Authority
WO
WIPO (PCT)
Prior art keywords
driving
vision device
vision
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2011/001190
Other languages
English (en)
French (fr)
Inventor
조동일
박재홍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNU R&DB Foundation
Original Assignee
SNU R&DB Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SNU R&DB Foundation filed Critical SNU R&DB Foundation
Priority to JP2013523076A priority Critical patent/JP5760084B2/ja
Priority to US13/319,608 priority patent/US9996084B2/en
Publication of WO2012018168A1 publication Critical patent/WO2012018168A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Definitions

  • Embodiments relate to a control system and method of a drive command based vision device for target tracking.
  • the driving of the vision device may be controlled to fix the gaze of the vision device mounted on the mobile robot to the target to be recognized by using the driving command or by using the driving command and the driving information detected by the mobile robot.
  • a driving command based vision device control system and method may be controlled to fix the gaze of the vision device mounted on the mobile robot to the target to be recognized by using the driving command or by using the driving command and the driving information detected by the mobile robot.
  • Mobile robots that replace human efforts and perform tasks such as driverless security are widely used.
  • a function of performing the movement and direction change of the robot by using the driving unit is required.
  • one of the core functions is to implement a vision system that acquires an image signal from the outside to perform a function of recognizing or tracking a specific object.
  • the target that the vision system wants to recognize is out of the input range of the vision system when the moving part of the robot rotates or the part where the vision system is rotated. There is a problem.
  • blurring or the like may occur in an image signal acquired by the vision system, thereby reducing the object recognition rate and accuracy of the vision system.
  • the vision apparatus included in the object even when the object moves ( It is possible to provide a vision command control system and a method for driving a target device for target tracking that can control the direction of the line of sight of the vision device so that the vision device observes the target to be recognized.
  • a driving command based vision device control system includes a movable body; A vision device connected to the body and driven to receive image information; A driving unit for driving the body according to a driving command; And calculating the driving information of the body by using the driving command, and using the calculated driving information to fix the vision direction of the vision device to a target to compensate for the influence caused by the driving of the body. It may include a first control unit for driving.
  • the detection unit is mounted to the body to measure the disturbance occurring in the body; And a second controller configured to drive the vision apparatus to compensate for the effects of the disturbance measured by the sensing unit.
  • the driving apparatus based vision apparatus control system may include an image processor configured to calculate a position of a target from image information received by the vision apparatus; And a third controller configured to drive the vision apparatus according to a result of comparing the position of the target calculated by the image processor with a predetermined reference position.
  • one or more of the first to third control units may be configured to move the vision device, rotate the vision device, or move and rotate the vision device.
  • one or more of the first control unit to the third control unit may be configured to adjust a zoom level of a camera included in the vision apparatus.
  • a method of controlling a vision device based on a driving command may include: providing a movable body and a vision device connected to the body and driven to receive image information; Driving the body according to a driving command; Calculating driving information of the body using the driving command; And driving the vision device to compensate for the influence due to the driving of the body by using the driving information.
  • a detection result using various driving sensors in addition to or using a driving command for driving a mobile robot may be used. It can be used to grasp the driving information of the mobile robot.
  • the driving of the vision device By controlling the driving of the vision device to fix the gaze of the vision device of the mobile robot to the target based on the identified driving information, the gaze of the vision device even when the mobile robot continuously moves in a large displacement linear and / or rotational manner.
  • the direction can be kept constant toward the recognition target. That is, the target to be recognized may be continuously positioned at the center of the output image frame of the vision apparatus.
  • the vision apparatus looks at the target to be recognized, so that a phenomenon such as blurring in the image does not occur even if the target is not within the recognition range of the vision apparatus or the target is outside the recognition range of the vision apparatus. It can be prevented from occurring. Therefore, stable image information can be obtained while the mobile robot is moving, thereby improving the recognition rate and tracking success rate of the vision apparatus.
  • the driving information predicted using the driving command with the driving information actually sensed using various sensors, it is possible to detect a disturbance such as a slip or a collision that may occur during driving, thereby correcting an error due to the disturbance.
  • FIG. 1 is a block diagram illustrating a configuration of a driving command based vision device control system according to an exemplary embodiment.
  • FIG. 2 is a schematic diagram illustrating an object to which a driving command based vision device control system is applied, according to an exemplary embodiment.
  • FIG. 3 is a schematic plan view illustrating a state in which a line of sight of a vision device rotates when an object moves in a vision command control system based on a driving command according to an exemplary embodiment.
  • FIG. 4 is a plan view exemplarily illustrating a movement path in a case where a slip phenomenon occurs and a case in which an object to which a driving command based vision apparatus control system is applied occurs.
  • FIG. 5 is a schematic diagram illustrating an object to which a driving command based vision device control system using a landmark device is applied to a sensing unit, according to an exemplary embodiment.
  • FIG. 6 is a schematic diagram illustrating an object to which a driving command based vision device control system using an indoor global positioning system (GPS) device is applied to a sensing unit, according to an exemplary embodiment.
  • GPS global positioning system
  • FIG. 7 is a flowchart illustrating a method for controlling a vision device based on a driving command, according to an exemplary embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a driving command based vision device control system according to an exemplary embodiment.
  • a vision command control system based on a driving command includes a movable body 1, a vision device 2 connected to the body 1 to receive image information, and a driving unit for driving the body 1 ( 10) and the first control unit 30 for controlling the driving of the vision device 2 in advance.
  • the driving command-based vision device control system detects disturbances occurring in the body 1 and feeds the vision device 2 forward through the detector 40 and the second controller 50. ) May be included.
  • the driving command-based vision device control system uses the image information received by the vision device 2 as a feedback signal and an image processor 60 for controlling the vision device 2 and It may also include a third control unit 70. The detailed structure of each part is mentioned later in detail.
  • a unit, a device, or a system may refer to hardware, a combination of hardware and software, or a computer related entity such as software.
  • a unit, device, or system described herein may include, but is not limited to, running processes, processors, objects, executables, threads of execution, programs, and / or computers. It is not limited.
  • both hardware configured to perform a specific function and software such as an application for operating the hardware may correspond to a part, apparatus, or system of the present specification.
  • FIG. 2 is a schematic diagram illustrating an object to which a driving command based vision device control system is applied, according to an exemplary embodiment.
  • the driving command based vision device control system may be applied to an object including a body 1 and a vision device 2 connected to each other.
  • the object is an object capable of linear and / or rotational movement by automatic or manual manipulation, for example a mobile robot.
  • the body 1 may be a portion on which a device for driving the mobile robot is mounted, such as a torso or a leg
  • the vision device 2 may be a portion on which a vision sensor of the mobile robot is mounted, such as a head or an eye.
  • Each of the body 1 and the vision device 2 does not necessarily refer to one integrated part, but may also include a plurality of parts that are physically connected and / or in communication with each other.
  • the driving command-based vision device control system is described based on an implementation form applied to a mobile robot, but the spirit of the present invention is not limited thereto.
  • the driving of the body 1 includes a motion in which the mobile robot travels in a certain direction, a motion in which the mobile robot rotates the body in place while fixing the position, and a curve is changed by changing the direction while the mobile robot is driving. All of the movements may be included.
  • the operation of the vision device 2 the operation of moving the position of the vision device 2 along one direction, the operation of rotating only the visual direction while fixing the position of the vision device 2, and the vision device It may include all the operations such as rotating the direction while moving the position of (2).
  • the mobile robot configured to include the body 1 and the vision device 2 can operate according to driving commands generated internally and / or externally.
  • a driving command refers to comprehensive information including one or more commands, signals, and / or inputs for driving a mobile robot.
  • the driving command may include one or more pieces of information for defining a linear or rotational movement of the mobile robot, such as the moving distance, the moving speed, the rotation angle, the rotational speed, or the movement arrival point information of the mobile robot.
  • driving such as a linear movement and / or rotational movement of the mobile robot is performed.
  • the driving unit 10 moves the body 1 using the movement distance, movement speed or arrival point information specified by the drive command, or the body 1 at the rotation angle or rotation speed specified by the drive command. ) May be rotated.
  • the drive command based vision device control system may include a drive command generation unit (not shown) for generating the above-described drive command.
  • the driving command generation unit may be located in the body 1 of the mobile robot to configure a part of the mobile robot, and in this case, the driving command may be automatically generated through intelligent control in the mobile robot itself.
  • the driving command generation unit may be located outside the mobile robot and transmit the driving command to the mobile robot through wired and / or wireless communication.
  • the driving command may be manually input to a user outside the mobile robot and transmitted to the mobile robot.
  • the drive unit 10 has the shape of a wheel located under the body 1.
  • the drive unit 10 may be constituted by one or a plurality of different different means for linear or rotational movement of the body 1 in addition to the wheel.
  • the body 1 and the vision device 2 shown in FIG. 2 are also illustratively visualized for convenience of description, and the size, number, shape, and space between each of the body 1 and the vision device 2 are shown.
  • the connection method and the like are not limited to those shown in the drawings.
  • the vision device 2 is connected to the body 1 and is a part for receiving image information.
  • the vision device 2 may include a driver 21 connected to the body 1 and a camera 22 connected to the driver 21.
  • the driver 21 is a device suitable for performing a drive such as linearly or rotationally moving the vision device 2.
  • the driver 21 may be a linear motion driver and / or a rotary motion driver.
  • the driver 21 may also include one or a plurality of drive shafts for moving the vision device 2 along the axial direction or for rotating the vision device 2 with respect to the axial direction.
  • the camera 22 is a part for receiving image information of the object to be recognized 3.
  • the camera 22 may comprise a monocular camera, a stereo camera or other suitable image acquisition means.
  • the camera 22 may be mounted on the surface of the vision device 2 or positioned in an inserted or integrated form within the vision device 2.
  • the vision device 2 Since the vision device 2 is directly or indirectly connected to the body 1, when the body 1 moves linearly or rotationally, the position and / or direction of the vision device 2 is also affected and changed, and as a result, Image information received by the camera 22 of the vision device 2 is also affected. Therefore, as the body 1 moves, the target 3 blurs the image information received by the camera 22 even if it is not within the input range of the camera 22 or the input range of the camera 22. ) May occur.
  • the first controller 30 may adjust the line of sight of the vision apparatus 2 to correspond to the movement of the body 1 predicted from the driving command.
  • the first controller 20 calculates a moving direction and / or a rotating direction of the body 1 by using a driving command, and drives the vision apparatus 2 in response to the moving and / or rotating of the body 1.
  • the first control signal u 1 may be generated.
  • the first control unit 30 can control the position and direction of the vision device 2 by controlling the driver 21 of the vision device 2 using the first control signal u 1 .
  • the first control unit 30 may move and / or rotate the vision device 2 in a direction opposite to the movement and / or rotation direction of the body 1.
  • the movement distance and the rotation angle of the vision device 2 can be appropriately determined to a size that can compensate for the influence on the image information due to the movement and rotation of the body 1.
  • FIG. 3 is a plan view schematically illustrating a state in which a line of sight of the vision device rotates in response to the movement of the body as a result of the operation by the first controller.
  • the body 1 may move in a straight line in the direction of the arrow in the drawing by the driving unit 10.
  • the target to be recognized 3 of the vision device 2 may be located in a direction rotated to the right by a predetermined angle ⁇ with respect to the moving direction of the body 1. As the body 1 moves in the direction of the arrow, the angle ⁇ between the body 1 and the target 3 is further increased.
  • the first controller calculates the predicted driving information of the body 1 from the driving command for driving the body 1 and adjusts the vision direction to compensate for the influence caused by the driving of the body 1. It is possible to generate a control signal for driving (2). For example, as the body 1 moves in the direction of the arrow, the first controller may gradually rotate the line of sight of the vision apparatus 2 to the right through a control signal. As a result, the vision apparatus 2 always looks at the target 3 in spite of the running of the body 1, so that the camera 22 included in the vision apparatus 2 provides stable image information of the target 3. You can get it.
  • the first control unit may perform any driving in which the body 1 includes linear and / or rotational movement.
  • the vision device 2 may be rotated to correspond to the movement of the body 1 by calculating an angle ⁇ formed between the body 1 and the target 3 based on the driving information of the body 1.
  • the operation of rotating the vision line direction of the vision device 2 by the first control unit has been exemplarily described.
  • the first control unit linearly moves the vision device 2 in one or a plurality of drive shaft directions. It is also possible to change the position of the vision device 2 in response to the movement of the body 1.
  • the first control unit 30 uses a drive command for driving the body 1 as a feed-back signal to correspond to the movement of the body 1 predicted therefrom. It may also include a feedforward compensator to generate a. In order to calculate the driving information from the driving command, various predictive control techniques including a rule based method or a method using a Kalman filter may be applied. In addition, the first control unit 30 may include various control circuits such as a P, PI, PD, or PID controller for implementing such a predictive control technique. However, in the embodiments of the present invention, the configuration of the first controller 30 is not limited to a specific control technique or circuit configuration.
  • the vision device 2 As described above, as a result of driving the vision device 2 to control the gaze direction so as to correspond to the driving of the body 1 of the mobile robot based on the driving command, the vision device ( In the image information obtained in 2), the target to be recognized 3 may be maintained at a position in the center of the image frame without leaving the image frame. Therefore, the vision device 2 can obtain stable image information and can prevent a phenomenon such as blurring from occurring in the image information.
  • the first control unit 30 may not only control the movement and / or rotation of the vision device 2, but also adjust the zoom of the camera 22 included in the vision device 2.
  • the camera 22 may include a zoom control device (not shown) driven according to the control signal of the first controller 30.
  • the zoom adjusting device an optical zoom adjusting device, an electronic zoom adjusting device or other suitable adjusting means may be applied.
  • the optical zoom control device may adjust the magnification of the subject by adjusting the focal length while moving a plurality of lenses included in the lens unit of the camera 22 in combination.
  • the electronic zoom adjusting device may enlarge or reduce image information generated by the camera 22 through signal processing.
  • the optical zoom adjusting device may be built in the camera 22.
  • the electronic zoom control device and a signal processor for it may be built in the camera 22 or may be mounted outside the camera 22.
  • the first controller 30 uses the zoom adjusting device configured as described above, the first controller 30 generates a control signal for controlling the zoom adjusting device of the camera 22 using the driving information of the object predicted from the driving command, and uses the same.
  • the zoom control device By controlling the zoom control device, the image information about the target can be obtained in a desired size. For example, if the distance between the body 1 and the target to be recognized is increased as a result of analyzing the movement of the body 1 using the driving command, the first control unit 30 controls the zoom level of the camera 22. By increasing the size of the image of the recognition target target received by the camera 22 can be increased. On the contrary, when it is predicted that the distance between the body 1 and the target to be recognized decreases, the first controller 30 reduces the zoom level of the camera 22 to determine the target of the target to be received by the camera 22. It may also reduce the size of the image.
  • FIG. 4 is a schematic plan view showing the effects of slipping, collision, and the like that occur when the mobile robot moves.
  • the movement path of the mobile robot consisting of the body 1 and the vision device 2 is shown by an arrow roll.
  • Arrows 100, 110, 120, and 130 indicated by solid lines in the drawing indicate the movement paths of the mobile robot predicted from the driving command
  • arrows 200, 210, 220, and 230 indicated by dotted lines indicate the movement paths of the actual mobile robot.
  • the driving command based vision device control system may include a sensing unit 40 and a second control unit 50.
  • the sensing unit 40 is a device for measuring disturbance occurring in the body 1 by sensing actual driving information of the body 1.
  • the sensing unit 40 compares the driving information d of the body 1 based on the driving command received from the driving unit 10 with the actual driving information detected by the one or more sensors, thereby causing slippage of the body 1.
  • Driving information, including the extent and extent of disturbance such as ) Can be calculated.
  • the sensing unit 40 may include elements such as various sensors mounted on the body 1 or located inside the body 1.
  • the sensing unit 40 may include one or more encoders, inertial sensors, distance sensors, landmark devices, indoor Global Positioning System (IGPS) devices or other suitable elements. have.
  • IGPS indoor Global Positioning System
  • the sensing unit 40 may include one or more encoders.
  • the driving unit 10 may be a moving means of a type driven by rotation, such as a wheel or a caterpillar.
  • an encoder may be attached to each of the driving units 10, and each encoder may calculate driving information of the body 1 by measuring the number of rotations of the corresponding driving unit 10. .
  • the rotational speed of each drive unit 10 is the same, this means that the body 1 has linear movement, such as moving forward or backward in a linear direction.
  • the rotational speed of the drive unit 10 connected to each direction of the body 1 due to the rotation is different from each other.
  • the rotation of the body 1 may be detected by comparing the rotation speeds of the driving units 10 with each other. For example, if the number of rotations of the driving unit 10 located on the right side of the body 1 is relatively smaller than the driving unit 10 located on the left side of the body 1 among the plurality of driving units 10, the body 1 It can be seen that is rotated to the right.
  • the sensing unit 40 may include one or more inertial sensors.
  • the inertial sensor a suitable element capable of detecting acceleration and angular velocity in one or a plurality of axial directions may be used.
  • the inertial sensor may include a three-axis acceleration sensor capable of detecting three axial accelerations located in space and a three-axis angular velocity sensor capable of detecting three axial angular velocities.
  • the inertial sensor may comprise one or more acceleration sensors that detect accelerations in different axial directions and one or more angular velocity sensors that detect angular velocities in different axial directions.
  • the inertial sensor may measure the acceleration due to the movement of the body 1 and / or the angular velocity due to the rotation of the body 1, and calculate the actual driving information of the body 1 from the measured acceleration and / or angular velocity.
  • the sensing unit 40 may include one or more distance sensors.
  • the distance sensor may be attached to the body 1 to measure a distance to a wall or a structure adjacent to each direction in a space within an active category of the mobile robot, and output the same in the form of X, Y coordinates, and the like.
  • the distance sensor compares and analyzes the initial X and Y coordinates acquired before the body 1 moves and the X and Y coordinates during or after the movement to calculate the driving information of the body 1. can do.
  • the positioning method using the distance sensor is not limited to a specific method.
  • an ultrasonic sensor, a laser sensor, or an infrared (IR) sensor may be applied as the distance sensor.
  • each distance sensor can detect X and Y coordinates before and after the movement of the body 1, and since the positional relationship between the two distance sensors is fixed, On the basis of the X and Y coordinates detected by the two distance sensors, the rotation as well as the positional movement of the body 1 can be detected.
  • the number of distance sensors is mounted as the sensing unit 40, the three-dimensional movement of the body 1 can also be grasped. As the number of distance sensors increases, more accurate driving information of the body 1 can be obtained. have.
  • FIG. 5 an object to which a vision command control system based on a driving command using a landmark device is applied to the sensing unit 40 is illustrated in FIG. 5.
  • a plurality of landmarks 600 are installed in a space within an activity category of a mobile robot, and the sensing unit 40 attached to the body 1 may recognize the landmarks 600. It can be configured to include a sensor.
  • Landmark 600 should have a visual invariant feature point or feature to be recognized by the vision sensor of the sensing unit 40, including the walls and ceilings of the interior of the room that can be detected by the sensing unit 40 It can be located anywhere.
  • both an artificial marker and a natural marker located indoors may be applied.
  • the vision sensor of the sensing unit 40 may extract the position and size change of the landmark 600 by recognizing the landmark 600 among the received image information, and using this, the movement and rotation direction of the body 1. And position coordinates.
  • the method for locating the body 1 and the image signal analyzing method are not limited to a specific method.
  • an object to which the driving command based vision device control system using the IGPS device is applied as the sensing unit 40 is illustrated in FIG. 6.
  • an IGPS signal transmitter 710 or a signal receiver 720 in which a coordinate value of a position to be attached in a space within an activity category of a mobile robot is preset may be installed.
  • the sensing unit 40 may be configured as an IGPS signal receiver.
  • the sensing unit 40 may be an IGPS signal transmitter. Can be configured.
  • the sensing unit 40 transmits distance information from each signal transmitter 710 (or signal receiver 720) through communication with each signal transmitter 710 (or signal receiver 720). Can be obtained.
  • position information of the body 1 to which the sensing unit 40 is attached may be calculated through triangulation using distances from the plurality of signal transmitters 710 (or signal receivers 720).
  • two sensors 40 may be attached to the body 1 to obtain rotation information of the body 1. Since the distance between the two sensing units 40 attached to the body 1 before and after the movement of the body 1 is constant, each signal receiver 720 (or signal transmitter 710) from one sensing unit 40 is fixed. By analyzing the change of the distance to), it is possible to grasp the rotation information of the body (1).
  • the position, attitude, and signal analysis method of the mobile robot using IGPS is not limited to a specific method.
  • the number and location of each of the IGPS signal transmitter 710 and the IGPS signal receiver 720 is not limited to a specific configuration, and may be appropriately determined in consideration of an activity range and a movement path of the mobile robot.
  • the signal transmitter 710 (or the signal receiver 720) may be located anywhere the signal receiver or the signal transmitter of the detector 40 may receive a signal, such as a ceiling or a wall of a room, and may be located within the IGPS.
  • the type of signal required for communication is not limited to a specific type such as RF (Radio Frequency), IR, and laser.
  • the second controller 50 may generate a second control signal u 2 for controlling the driving of the vision apparatus 2 to compensate for the influence of the disturbance by using the driving information calculated by the detector 40. Can be.
  • the vision device 2 uses the first control signal u 1 by the first control unit 30 and the second control signal u 2 generated by the second control unit 50 together as a feed-back signal. It is possible to control the driving of. Therefore, it is possible to correct errors caused by disturbances such as slippage or collision of the mobile robot and to calculate more accurate driving information.
  • the vision device 2 When a plurality of control signals, such as the first control signal u 1 and the second control signal u 2 , are input to the vision device 2, the vision device 2 is proportionally controlled, purged according to these control signals. It may be driven in a manner such as Fuzzy logic, genetic algorithm or neural network. However, this is exemplary and the control method of the vision device 2 in the embodiments of the present invention is not limited to a specific technique or circuit.
  • the second controller 50 may adjust the zoom level of the camera 22 included in the vision device 2 as well as control the movement and / or rotation of the vision device 2.
  • Drive information indicating disturbance by the sensing unit 40 If the distance between the body 1 and the object to be recognized 3 is increased as a result of calculating the), the second control unit 30 acquires the camera 22 by increasing the zoom level of the camera 22.
  • the size of the image of the target object 3 to be recognized may be increased.
  • the second controller 50 reduces the zoom level of the camera 22 to acquire the object to be acquired by the camera 22. It is also possible to reduce the size of the image of the target 3.
  • the driving command-based vision device control system may further include an image processor 60 and a third controller 70.
  • the image processor 60 and the third controller 70 By using the image processor 60 and the third controller 70, the first and second control signals u 1 and u 2 generated by the first controller 30 and / or the second controller 50 are received.
  • the third control signal u 3 may be generated by using the image information received from the vision apparatus 2 as a feedback signal. By performing feedback by using the image information actually received by the vision apparatus 2 as a feedback signal, the driving of the vision apparatus 2 can be more precisely controlled to increase the stability of the received image information.
  • the image processor 60 may calculate a position of a predetermined target from image information received by the vision apparatus 2.
  • the predetermined target may be the target 3 to be recognized of the vision apparatus 2, and various objects may be used as the target depending on the purpose of the vision apparatus 2.
  • various image processing techniques known or developed in the future may be used, and in the embodiments of the present invention, a method of processing image information Is not limited to specific image processing means or techniques.
  • the image processor 60 may transmit a signal e corresponding to the difference between the target position and the reference position to the third controller 70.
  • the third controller 70 may generate a third control signal u 3 for controlling the driving of the vision apparatus 2 based on the difference between the target position and the reference position.
  • the third controller 70 may generate the third control signal u 3 to drive the vision apparatus 2 in a direction in which the difference between the target position and the reference position is reduced. For example, if the image information is a two-dimensional image and the coordinate of the reference position is (0, 0) and the coordinate of the target position is (1, 1) in the coordinate plane defined by the x-axis and the y-axis,
  • the control unit 70 may move the target device to the reference position by moving and / or rotating the vision device so that the gaze directing point of the vision device 2 faces the (1, 1) position.
  • the vision device 2 By using the third control signal u 3 , which is a feedback signal, together with the first control signal u 1 and the second control signal u 2 , which are the feedback signals, to control the vision device 2 as described above, It is possible to precisely control the driving of the vision device 2.
  • the gaze direction of the vision device of the mobile robot can be kept constant toward the recognition target. That is, the target may be continuously positioned at the center of the output image frame of the vision apparatus.
  • an operation of moving and / or rotating the vision device in one direction when the mobile robot moves is illustrated as an example, and is arbitrary in space including front, rear, left and right directions. It is possible to move the vision device in the direction or to rotate the vision device about any direction in space.
  • a target tracking system for driving a vision device part in a mobile robot to observe a specific target of recognition is implemented.
  • the exemplary embodiment is a driving command-based vision device control system according to the present invention. It may also be applied to stabilization and control to keep the position and / or direction of other portions of the constant. It may also be applied to the implementation of the tracking function of a vision device or other suitable device included in any unmanned device controlled by a drive command in addition to the mobile robot.
  • FIG. 7 is a flowchart illustrating a method of controlling a vision device based on a driving command, according to an exemplary embodiment.
  • the body of the mobile robot may be driven according to a driving command (S1).
  • the driving command may include one or more pieces of information for defining a linear or rotational movement of the mobile robot, such as the moving distance, the moving speed, the rotation angle, the rotational speed, or the movement arrival point information of the mobile robot.
  • Such a driving command may be generated from the outside of the mobile robot and transmitted to the mobile robot through wired and / or wireless communication, or may be generated by itself within the mobile robot.
  • the vision apparatus may be driven in response to the driving of the predicted body using the driving command (S2). Since the body and the vision device of the mobile robot are directly or indirectly connected to each other, when the body moves linearly and / or rotationally according to a driving command, the position and / or direction of the vision device also changes accordingly.
  • the vision apparatus includes a vision sensor (eg, a camera) for receiving image information of a target to be recognized, and as a result, the image information received by the vision sensor is also affected by the movement of the body.
  • a vision sensor eg, a camera
  • driving information of the body may be calculated using a driving command.
  • various prediction control techniques such as a rule-based method or a Kalman filter method, may be applied to calculate driving information of a body from a driving command.
  • the vision device may be driven to correspond to the driving of the body.
  • the vision device may be moved and / or rotated in a direction opposite to the direction of movement and / or rotation of the body.
  • the range of movement and / or rotation of the vision apparatus may be appropriately determined to a size that may minimize the influence on the image information received by the vision apparatus due to the driving of the body.
  • the zoom level of the camera included in the vision apparatus may be adjusted as well as the movement and / or rotation of the vision apparatus.
  • the camera may include an optical zoom adjusting device, an electronic zoom adjusting device or other suitable adjusting means, and may transmit a control signal to the above adjusting means to adjust the zoom level of the camera.
  • the sensing unit mounted on the body may further perform the step of measuring the disturbance occurring in the body (S3).
  • the sensing unit may measure whether or not a disturbance such as slippage or collision occurs in the body by comparing the driving information of the body based on the driving command with the actual driving information detected by the one or more sensors.
  • disturbances generated in the body may be measured by using an element, such as an encoder, an inertial sensor, a distance sensor, a landmark device, or an IGPS device, such as one or more sensors mounted on the body or located inside the body as a sensing unit.
  • the vision apparatus may be driven to correspond to the measured disturbance (S4). That is, the vision device may be driven to correspond to the driving of the body predicted from the driving command, and the vision device may be driven to correspond to the disturbance detected by the sensor element mounted on the body. Therefore, even when a disturbance such as a slip or a collision occurs while driving the mobile robot and a difference occurs between the driving information by the driving command and the actual driving of the mobile robot, the disturbance can be detected by using the detection unit. Can be corrected.
  • step (S4) of driving the vision apparatus to correspond to disturbance the zoom level of the camera included in the vision apparatus may be adjusted as well as the movement and / or rotation of the vision apparatus.
  • a detailed configuration of adjusting the zoom level of the camera can be easily understood from the above description with respect to step S2, and thus a detailed description thereof will be omitted.
  • the vision apparatus may receive image information (S5).
  • the vision device is moved and rotated in a direction and size corresponding to the driving of the body, thereby minimizing the influence on the vision information generated by the movement and rotation of the body. Therefore, even when the mobile robot moves, the vision apparatus can observe the target to obtain stable image information. Even if the target is not within the recognition range of the vision apparatus or the target is not within the recognition range of the vision apparatus, the phenomenon such as bleeding in the image may occur. It can be prevented from occurring.
  • the method may further include steps S6 and S7 for controlling feedback of the vision apparatus using the image information received by the vision apparatus.
  • a position of a predetermined target may be calculated from the image information received by the vision apparatus (S6).
  • the predetermined target may correspond to an image of a target target to be recognized by the vision apparatus.
  • the calculated target position may be compared with the predetermined reference position, and the vision apparatus may be driven according to the comparison result (S7).
  • the vision device may be driven in a direction and size of movement and / or rotation that reduces the difference between the target position and the reference position.
  • Embodiments relate to a control system and method of a drive command based vision device for target tracking. Specifically, a drive command that can control the driving of the vision device such that the gaze of the vision device mounted on the mobile robot looks at a target to be recognized by using the drive command or by using the drive command and the drive information detected by the mobile robot together. And a vision apparatus control system and method based thereon.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

구동 명령 기반의 비젼 장치(vision device) 제어 시스템은, 이동 가능한 몸체; 상기 몸체에 연결되어 구동되며 영상 정보를 수신하는 비젼 장치; 구동 명령에 따라 상기 몸체를 구동시키는 구동부; 및 상기 구동 명령을 이용하여 상기 몸체의 구동 정보를 산출하며, 산출된 구동 정보를 이용하여 상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 제어부를 포함할 수 있다. 구동 명령 기반의 비젼 장치 제어 시스템을 이용하여, 이동 로봇 등의 물체가 이동 중인 경우에도 물체에 포함된 비젼 장치가 소정의 타겟을 주시하도록 함으로써 안정적인 영상 정보를 얻을 수 있다.

Description

타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법
실시예들은 타겟 트래킹(target tracking)을 위한 구동 명령 기반 비젼 장치(vision device)의 제어 시스템 및 방법에 관한 것이다. 상세하게는, 구동 명령을 이용하거나 구동 명령과 이동 로봇에서 감지된 구동 정보를 함께 이용하여 이동 로봇에 장착된 비젼 장치의 시선을 인식 대상 목표에 고정할 수 있도록 비젼 장치의 구동을 제어할 수 있는 구동 명령 기반의 비젼 장치 제어 시스템 및 방법에 관한 것이다.
인간의 노력을 대체하여 무인 경비 등의 업무를 수행하는 이동 로봇이 널리 사용되고 있다. 이러한 이동 로봇의 작업 수행을 위해서는 주행부를 사용하여 로봇의 이동 및 방향 전환을 수행하는 기능이 필수적으로 요구된다. 또한 이동 로봇에 있어서는, 특정 사물을 인식하거나 추적하는 등의 기능을 수행하기 위하여 외부로부터 영상 신호를 획득하는 비젼(vision) 시스템을 구현하는 것이 핵심 기능 중의 하나에 해당한다.
그러나, 이동 로봇의 주행부와 비젼 시스템은 모두 동일한 몸체에 연결되어 있으므로, 로봇의 주행부가 회전하거나 또는 비젼 시스템이 위치한 부분이 회전하는 경우 비젼 시스템이 인식하고자 하는 목표물이 비젼 시스템의 입력 범위를 벗어나게 되는 문제점이 있다. 또한, 목표물이 입력 범위를 벗어나지 않더라도 비젼 시스템이 획득하는 영상 신호에 번짐(blurring) 등의 현상이 발생하게 되어 비젼 시스템의 물체 인식률 및 정확도가 감소하게 되는 문제점이 있다.
본 발명의 일 측면에 따르면, 이동 로봇 등 이동 가능한 물체에서 구동 명령을 이용하거나 구동 명령과 물체에 장착된 센서에서 감지된 구동 정보를 함께 이용하여, 물체가 움직이는 경우에도 물체에 포함된 비젼 장치(vision device)가 인식 대상 목표를 주시하도록 비젼 장치의 시선(line of sight) 방향을 제어할 수 있는 타겟 트래킹(target tracking)을 위한 구동 명령 기반의 비젼 장치 제어 시스템 및 방법을 제공할 수 있다.
일 실시예에 따른 구동 명령 기반의 비젼 장치(vision device) 제어 시스템은, 이동 가능한 몸체; 상기 몸체에 연결되어 구동되며 영상 정보를 수신하는 비젼 장치; 구동 명령에 따라 상기 몸체를 구동시키는 구동부; 및 상기 구동 명령을 이용하여 상기 몸체의 구동 정보를 산출하며, 산출된 구동 정보를 이용하여 상기 몸체의 구동으로 인한 영향을 보상할 수 있도록 상기 비젼 장치의 시선 방향을 타겟에 고정시키기 위해 비젼 장치를 구동시키는 제1 제어부를 포함할 수 있다.
또한, 상기 구동 명령 기반의 비젼 장치 제어 시스템은, 상기 몸체에 장착되어 상기 몸체에 발생하는 외란을 측정하는 감지부; 및 상기 감지부에서 측정된 외란으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 제2 제어부를 더 포함할 수도 있다.
또한, 상기 구동 명령 기반의 비젼 장치 제어 시스템은, 상기 비젼 장치에 의해 수신된 영상 정보에서 타겟의 위치를 산출하는 이미지 처리부; 및 상기 이미지 처리부에 의해 산출된 타겟의 위치를 미리 결정된 기준 위치와 비교한 결과에 따라 상기 비젼 장치를 구동시키는 제3 제어부를 더 포함할 수도 있다.
나아가, 상기 제1 제어부 내지 상기 제3 제어부 중 하나 이상은, 상기 비젼 장치를 이동시키거나, 상기 비젼 장치를 회전시키거나, 또는 상기 비젼 장치를 이동 및 회전시키도록 구성될 수 있다. 또한, 상기 제1 제어부 내지 상기 제3 제어부 중 하나 이상은, 상기 비젼 장치에 포함된 카메라의 줌 레벨(zoom level)을 조절하도록 구성될 수도 있다.
일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 방법은, 이동 가능한 몸체 및 상기 몸체에 연결되어 구동되며 영상 정보를 수신하는 비젼 장치를 제공하는 단계; 구동 명령에 따라 상기 몸체를 구동시키는 단계; 상기 구동 명령을 이용하여 상기 몸체의 구동 정보를 산출하는 단계; 및 상기 구동 정보를 이용하여 상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계를 포함할 수 있다.
본 발명의 일 측면에 따른 구동 명령 기반의 비젼 장치(vision device) 제어 시스템 및 방법을 이용하면, 이동 로봇을 구동시키기 위한 구동 명령을 이용하거나 또는 이러한 구동 명령에 더하여 추가적으로 다양한 센서를 이용한 감지 결과를 이용하여 이동 로봇의 구동 정보를 파악할 수 있다. 그리고 파악된 구동 정보에 기초하여 이동 로봇의 비젼 장치의 시선을 타겟에 고정할 수 있도록 비젼 장치의 구동을 제어함으로써, 이동 로봇이 연속적인 대변위 선형 및/또는 회전 이동하는 경우에도 비젼 장치의 시선 방향을 인식 대상 목표를 향하여 일정하게 유지할 수 있다. 즉, 인식 대상 목표가 비젼 장치의 출력 영상 프레임의 중심에 지속적으로 위치하도록 할 수 있다.
따라서, 이동 로봇이 장시간 연속적으로 움직이는 경우에도 비젼 장치가 인식 대상 목표를 주시하게 되므로, 목표가 비젼 장치의 인식 범위를 벗어나거나 목표가 비젼 장치의 인식 범위를 벗어나지 않더라도 영상에 번짐(blurring) 등의 현상이 발생하는 것을 방지할 수 있다. 따라서, 이동 로봇이 움직이는 중에도 안정적인 영상 정보를 얻을 수 있어 비젼 장치의 인식률 및 트래킹(tracking) 성공율을 향상시킬 수 있다. 또한, 구동 명령을 이용하여 예측한 구동 정보와 다양한 센서를 이용하여 실제로 감지한 구동 정보를 비교함으로써 주행 중에 발생할 수 있는 미끄러짐 또는 충돌 등 외란을 감지할 수 있어 외란에 의한 오차를 보정할 수 있다.
도 1은 일 실시예에 따른 구동 명령 기반의 비젼 장치(vision device) 제어 시스템의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체를 나타내는 개략도이다.
도 3은 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템에서 물체가 이동하는 경우 비젼 장치의 시선 방향이 회전하는 상태를 도시한 개략적인 평면도이다.
도 4는 구동 명령 기반의 비젼 장치 제어 시스템이 적용될 물체에 미끄러짐 현상이 발생하는 경우와 발생하지 않는 경우의 이동 경로를 예시적으로 도시한 평면도이다.
도 5는 일 실시예에 따라 감지부에 랜드마크 장치를 이용한 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체를 나타내는 개략도이다.
도 6은 일 실시예에 따라 감지부에 실내 GPS(Indoor Global Positioning System) 장치를 이용한 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체를 나타내는 개략도이다.
도 7은 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 방법의 순서도이다.
이하에서, 도면을 참조하여 본 발명의 몇몇 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 구동 명령 기반의 비젼 장치(vision device) 제어 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 구동 명령 기반의 비젼 장치 제어 시스템은 이동 가능한 몸체(1), 몸체(1)에 연결되어 영상 정보를 수신하는 비젼 장치(2), 몸체(1)를 구동시키기 위한 구동부(10) 및 비젼 장치(2)의 구동을 앞먹임 제어하기 위한 제1 제어부(30)를 포함할 수 있다. 일 실시예에서, 구동 명령 기반의 비젼 장치 제어 시스템은 몸체(1)에 발생하는 외란(disturbance)을 감지하여 비젼 장치(2)를 앞먹임 제어하기 위한 감지부(40) 및 제2 제어부(50)를 포함할 수도 있다. 또한, 일 실시예에서, 구동 명령 기반의 비젼 장치 제어 시스템은 비젼 장치(2)에 수신된 영상 정보를 되먹임(feedback) 신호로 이용하여 비젼 장치(2)를 제어하기 위한 이미지 처리부(60) 및 제3 제어부(70)를 포함할 수도 있다. 각 부분의 세부적인 구성에 대해서는 상세히 후술한다.
본 명세서에서 부(unit), 장치(device) 또는 시스템(system) 등의 용어는 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭할 수 있다. 예를 들어, 본 명세서에 기재된 부, 장치 또는 시스템에는 실행중인 프로세스, 프로세서, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램 및/또는 컴퓨터가 포함될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 특정 기능을 수행하도록 구성된 하드웨어 및 상기 하드웨어를 동작시키기 위한 애플리케이션(application) 등 소프트웨어의 양쪽이 모두 본 명세서의 부, 장치 또는 시스템에 해당될 수 있다.
도 2는 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체를 나타내는 개략도이다.
도 2를 참조하면, 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템은 서로 연결된 몸체(1) 및 비젼 장치(2)를 포함하는 물체에 적용될 수 있다. 상기 물체는 자동 또는 수동 조작에 의해 선형 및/또는 회전 이동할 수 있는 물체로서, 예를 들어 이동 로봇일 수 있다. 예컨대, 몸체(1)는 몸통 또는 다리 등과 같이 이동 로봇의 주행을 위한 장치가 장착되는 부분일 수 있으며, 비젼 장치(2)는 머리 또는 눈 등과 같이 이동 로봇의 비젼 센서가 장착되는 부분일 수 있다. 몸체(1) 및 비젼 장치(2) 각각은 반드시 하나의 일체화된 부분을 지칭하는 것은 아니며, 서로 물리적 연결 및/또는 통신 연결된 복수 개의 부분을 포함할 수도 있다.
본 명세서에 기재된 실시예들에서는 설명의 편의를 위해 구동 명령 기반의 비젼 장치 제어 시스템이 이동 로봇에 적용되는 구현 형태를 기초로 하여 설명하나, 본 발명의 사상은 이에 한정되는 것은 아니다.
본 명세서에서 "구동"이란 선형 이동 및 회전 중 어느 하나 또는 양쪽 모두를 포함하는 움직임을 지칭하도록 의도된다. 예를 들어, 몸체(1)의 구동에는 이동 로봇이 일정한 방향으로 주행하는 동작, 이동 로봇이 위치를 고정한 채 제자리에서 몸체를 회전시키는 동작, 및 이동 로봇이 주행하는 도중에 방향을 전환하여 커브를 그리며 이동하는 동작 등이 모두 포함될 수 있다. 또한, 이와 유사하게, 비젼 장치(2)의 구동에는 비젼 장치(2)의 위치를 일 방향을 따라 이동시키는 동작, 비젼 장치(2)의 위치를 고정한 채 시선 방향만을 회전시키는 동작, 및 비젼 장치(2)의 위치를 이동시키면서 방향을 회전시키는 동작 등이 모두 포함될 수 있다.
이하에서는, 도 1 및 도 2를 참조하여 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템의 동작에 대하여 설명한다.
몸체(1) 및 비젼 장치(2)를 포함하여 구성된 이동 로봇은 내부 및/또는 외부에서 생성된 구동 명령에 따라 동작할 수 있다. 본 명세서에서 구동 명령이란, 이동 로봇을 구동하기 위한 하나 이상의 명령(command), 신호(signal) 및/또는 입력(input) 등을 포함하는 포괄적인 정보를 지칭한다. 예를 들어, 구동 명령에는 이동 로봇의 이동 거리, 이동 속도, 회전 각도, 회전 속도 또는 이동 도착 지점 정보 등 이동 로봇의 선형 또는 회전 이동을 정의하기 위한 하나 이상의 정보가 포함될 수 있다.
구동부(10)에서 구동 명령을 수신하고, 수신된 구동 명령에 따라 몸체(1)를 구동시킴으로써, 이동 로봇이 선형 이동 및/또는 회전 이동하는 등의 구동이 이루어진다. 예를 들어, 구동부(10)는 구동 명령에 의해 지정된 이동 거리, 이동 속도 또는 도착 지점 정보를 이용하여 몸체(1)를 이동시키거나, 또는 구동 명령에 의해 지정된 회전 각도 또는 회전 속도로 몸체(1)를 회전시키는 등의 동작을 수행할 수 있다.
일 실시예에서, 구동 명령 기반의 비젼 장치 제어 시스템은 전술한 구동 명령을 생성하는 구동 명령 생성부(미도시)를 포함할 수도 있다. 예를 들어, 구동 명령 생성부는 이동 로봇의 몸체(1)에 위치하여 이동 로봇의 일부를 구성할 수 있으며, 이 경우 이동 로봇 자체에서 지능 제어를 통해 자동적으로 구동 명령이 생성될 수 있다. 그러나, 이는 예시적인 것으로서, 다른 실시예에서 구동 명령 생성부는 이동 로봇의 외부에 위치하며 유선 및/또는 무선 통신을 통하여 이동 로봇에 구동 명령을 전달할 수도 있다. 예를 들어, 구동 명령은 이동 로봇 외부의 사용자에 수동 입력되어 이동 로봇으로 전달될 수도 있다.
도 2에 도시된 일 실시예에서 구동부(10)는 몸체(1)의 하부에 위치하는 바퀴의 형상을 갖는다. 그러나 이는 예시적인 것으로서, 구동부(10)는 바퀴 외에 몸체(1)의 선형 또는 회전 이동을 위한 하나 또는 복수 개의 다른 상이한 수단으로 구성될 수도 있다. 또한, 도 2에 도시된 몸체(1) 및 비젼 장치(2) 역시 설명의 편의를 위하여 예시적으로 가시화된 것으로서, 몸체(1) 및 비젼 장치(2) 각각의 크기, 개수, 형상 및 이들 사이의 연결 방식 등은 도면에 도시된 것으로 한정되지 않는다.
비젼 장치(2)는 몸체(1)와 연결되며 영상 정보를 수신하기 위한 부분이다. 도 2를 참조하면, 일 실시예에서, 비젼 장치(2)는 몸체(1)에 연결된 구동기(21) 및 구동기(21)에 연결된 카메라(22)를 포함할 수 있다. 구동기(21)는 비젼 장치(2)를 선형 또는 회전 이동시키는 등의 구동을 수행하기에 적당한 장치로서, 예를 들어, 구동기(21)는 선형 모션 구동기 및/또는 회전 모션 구동기일 수 있다. 또한, 구동기(21)는 축 방향을 따라 비젼 장치(2)를 이동시키거나 또는 축 방향을 기준으로 비젼 장치(2)를 회전시키기 위한 하나 또는 복수 개의 구동축을 포함할 수도 있다. 카메라(22)는 인식 대상 목표물(3)의 영상 정보를 수신하기 위한 부분이다. 예를 들어, 카메라(22)는 단안 카메라(monocular camera), 스테레오 카메라(stereo camera) 또는 다른 적당한 영상 획득 수단을 포함할 수 있다. 카메라(22)는 비젼 장치(2)의 표면에 장착되거나 비젼 장치(2) 내에 삽입 또는 일체화된 형태로 위치할 수 있다.
비젼 장치(2)는 몸체(1)와 직접 또는 간접적으로 연결되어 있으므로, 몸체(1)가 선형 또는 회전 이동하여 움직이면 비젼 장치(2)의 위치 및/또는 방향도 영향을 받아 변화하며, 그 결과 비젼 장치(2)의 카메라(22)에 수신되는 영상 정보 또한 영향을 받게 된다. 따라서, 몸체(1)가 움직임에 따라 목표물(3)이 카메라(22)의 입력 범위를 벗어나거나, 또는 카메라(22)의 입력 범위를 벗어나지 않더라도 카메라(22)에 수신되는 영상 정보에 번짐(blurring) 등의 현상이 발생할 수 있다.
이를 방지하기 위하여, 제1 제어부(30)는 구동 명령으로부터 예측되는 몸체(1)의 움직임에 대응되도록 비젼 장치(2)의 시선 방향을 조정시킬 수 있다. 제 1제어부(20)는 구동 명령을 이용하여 몸체(1)의 이동 방향 및/또는 회전 방향을 산출하고, 몸체(1)의 이동 및/또는 회전에 대응하여 비젼 장치(2)를 구동하기 위한 제1 제어 신호(u1)를 생성할 수 있다. 제1 제어부(30)는 제1 제어 신호(u1)를 이용하여 비젼 장치(2)의 구동기(21)를 제어함으로써, 비젼 장치(2)의 위치 및 방향을 제어할 수 있다. 예를 들어, 제1 제어부(30)는 몸체(1)의 이동 및/또는 회전 방향과 반대 방향으로 비젼 장치(2)를 이동 및/또는 회전시킬 수 있다. 또한, 비젼 장치(2)의 이동 거리 및 회전 각도는 몸체(1)의 이동 및 회전으로 인한 영상 정보에의 영향을 보상할 수 있는 크기로 적절하게 결정될 수 있다.
도 3은 제1 제어부에 의한 동작의 결과 몸체의 움직임에 대응하여 비젼 장치의 시선 방향이 회전하는 상태를 개략적으로 도시한 평면도이다. 도 3을 참조하면, 몸체(1)는 구동부(10)에 의하여 도면에서 화살표 방향으로 직선으로 이동할 수 있다. 한편, 비젼 장치(2)의 인식 대상 목표물(3)은 몸체(1)의 이동 방향에 대해 소정의 각도(θ)만큼 우측으로 회전된 방향에 위치할 수 있다. 몸체(1)가 화살표 방향으로 이동함에 따라 몸체(1)와 목표물(3) 사이의 각도(θ)는 더 증가하게 된다.
이때, 제1 제어부는 몸체(1)를 구동시키기 위한 구동 명령으로부터 몸체(1)의 예측된 구동 정보를 산출하고, 몸체(1)의 구동으로 인한 영향을 보상하도록 시선 방향을 조정하기 위해 비젼 장치(2)를 구동시키기 위한 제어 신호를 생성할 수 있다. 예컨대, 몸체(1)가 화살표 방향으로 이동함에 따라 제1 제어부는 제어 신호를 통하여 비젼 장치(2)의 시선 방향을 점차 우측으로 회전시킬 수 있다. 그 결과, 비젼 장치(2)는 몸체(1)의 주행에도 불구하고 항상 목표물(3)을 주시하게 되므로, 비젼 장치(2)에 포함된 카메라(22)에서 목표물(3)의 안정적인 영상 정보를 얻을 수 있다.
도 3에서는 몸체(1)가 일 방향으로 선형 이동하는 경우의 동작에 대하여 예시적으로 설명하였으나, 제1 제어부는 몸체(1)가 선형 및/또는 회전 이동을 포함하는 임의의 주행을 하는 경우에도 몸체(1)의 구동 정보를 바탕으로 몸체(1)와 목표물(3)이 이루는 각도(θ)를 산출하여 몸체(1)의 움직임에 대응되도록 비젼 장치(2)를 회전시킬 수 있다. 또한, 도 3에서는 제1 제어부에 의해 비젼 장치(2)의 시선 방향을 회전시키는 동작에 대하여 예시적으로 설명하였으나, 제1 제어부는 하나 또는 복수 개의 구동축 방향으로 비젼 장치(2)를 선형 이동시킴으로서 몸체(1)의 움직임에 대응시켜 비젼 장치(2)의 위치를 변경하는 것도 가능하다.
이상에서 설명한 것과 같은 제어를 수행하기 위하여, 제1 제어부(30)는 몸체(1)를 구동시키기 위한 구동 명령을 앞먹임 신호로 이용하여 이로부터 예측되는 몸체(1)의 움직임에 대응되도록 제어 신호를 생성하는 앞먹임 보상기(feedforward compensator)를 포함할 수도 있다. 구동 명령으로부터 구동 정보를 산출하기 위해서는 규칙 기반 방법(rule based method) 또는 칼만 필터(Kalman filter)를 이용한 방법 등을 포함한 다양한 예측 제어 기술이 적용될 수 있다. 또한, 제1 제어부(30)는 이러한 예측 제어 기술을 구현하기 위한 P, PI, PD 또는 PID 제어기 등 다양한 제어 회로 등을 포함할 수 있다. 그러나, 본 발명의 실시예들에서 제1 제어부(30)의 구성은 특정 제어 기술 또는 회로 구성 등으로 한정되는 것은 아니다.
이상에서 설명한 바와 같이 구동 명령에 기반하여 이동 로봇의 몸체(1)의 구동에 대응되도록 시선 방향을 제어하기 위해 비젼 장치(2)를 구동시킨 결과, 몸체(1)의 움직임에도 불구하고 비젼 장치(2)에서 얻어지는 영상 정보에서 인식 대상 목표물(3)은 영상 프레임을 벗어나지 않고 영상 프레임 중앙의 위치에 유지될 수 있다. 따라서, 비젼 장치(2)가 안정적인 영상 정보를 얻을 수 있으며 영상 정보에 번짐 등의 현상이 발생하는 것을 방지할 수 있다.
일 실시예에서, 제1 제어부(30)는 비젼 장치(2)의 이동 및/또는 회전을 제어하는 것뿐만 아니라 비젼 장치(2)에 포함된 카메라(22)의 줌(zoom)을 조절할 수도 있다. 이를 위하여, 카메라(22)에는 제1 제어부(30)의 제어 신호에 따라 구동되는 줌 조절 장치(미도시)가 포함될 수 있다. 줌 조절 장치로는 광학식 줌 조절 장치, 전자식 줌 조절 장치 또는 다른 적당한 조절 수단이 적용될 수 있다. 일 예로, 광학식 줌 조절 장치는 카메라(22)의 렌즈부에 포함된 여러 개의 렌즈를 조합하여 이동시키면서 초점 거리를 조절하여 피사체의 확대율을 조절할 수 있다. 한편, 전자식 줌 조절 장치는 카메라(22)에서 생성된 영상 정보를 신호 처리를 통해 확대하거나 축소할 수 있다. 광학식 줌 조절 장치는 카메라(22)에 내장될 수 있다. 한편, 전자식 줌 조절 장치 및 이를 위한 신호처리부는 카메라(22)에 내장되거나 또는 카메라(22)의 외부에 장착될 수도 있다.
이상과 같이 구성된 줌 조절 장치를 이용하여, 제1 제어부(30)는 구동 명령으로부터 예측된 물체의 구동 정보를 이용하여 카메라(22)의 줌 조절 장치를 제어하기 위한 제어 신호를 생성하고, 이를 이용하여 줌 조절 장치를 제어함으로써 목표물에 대한 영상 정보를 원하는 크기로 얻을 수 있게 된다. 예컨대, 구동 명령을 이용하여 몸체(1)의 움직임을 분석한 결과 몸체(1)와 인식 대상 목표 사이의 거리가 증가하는 것으로 예측되었을 경우, 제1 제어부(30)는 카메라(22)의 줌 레벨을 증가시킴으로써 카메라(22)에 수신되는 인식 대상 목표의 영상의 크기를 증가시킬 수 있다. 또한 반대로, 몸체(1)와 인식 대상 목표 사이의 거리가 감소하는 것으로 예측되었을 경우에는 제1 제어부(30)는 카메라(22)의 줌 레벨을 감소시켜 카메라(22)에 수신되는 인식 대상 목표의 영상의 크기를 감소시킬 수도 있다.
한편, 이동 로봇의 이동 중에는 미끄러짐이나 충돌 등과 같은 외란이 발생할 수 있다. 이 경우, 구동 명령으로부터 예측되는 몸체(1)의 구동과 실제 몸체(1)의 구동 사이에 오차가 발생할 가능성이 있다. 도 4는 이동 로봇의 이동시에 발생하는 미끄러짐이나 충돌 등의 영향을 나타내는 개략적인 평면도이다.
도 4를 참조하면, 몸체(1) 및 비젼 장치(2)로 이루어지는 이동 로봇의 이동 경로가 화살표롤 도시된다. 도면에서 실선으로 표시된 화살표(100, 110, 120, 130)는 구동 명령으로부터 예측된 이동 로봇의 이동 경로를 나타내며, 점선으로 표시된 화살표(200, 210, 220, 230)는 실제 이동 로봇의 이동 경로를 나타낸다. 도시되는 바와 같이 실선 화살표(110)와 점선 화살표(210) 사이 및 실선 화살표(130)와 점선 화살표(230) 사이에 오차가 존재하는 것을 확인할 수 있다. 이는 이동 로봇이 방향을 전환하는 경우 일부 영역(A, B)에서 미끄러짐이 발생한 것을 나타낸다.
이와 같은 오차를 보정하기 위하여, 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 시스템은 감지부(40) 및 제2 제어부(50)를 포함할 수 있다. 감지부(40)는 몸체(1)의 실제 구동 정보를 감지함으로써 몸체(1)에 발생하는 외란을 측정하기 위한 장치이다. 감지부(40)는, 구동부(10)로부터 수신한 구동 명령에 기초한 몸체(1)의 구동 정보(d)를 하나 이상의 센서에서 감지한 실제 구동 정보와 비교함으로써, 몸체(1)에 발생하는 미끄러짐이나 충돌 등의 외란의 발생 여부 및 범위를 포함하는 구동 정보(
Figure PCTKR2011001190-appb-I000001
)를 산출할 수 있다. 이를 위하여, 감지부(40)는 몸체(1)상에 장착되거나 또는 몸체(1) 내부에 위치하는 다양한 센서 등의 소자를 포함할 수 있다. 일 실시예에서, 감지부(40)는 엔코더(encoder), 관성 센서, 거리 센서, 랜드마크(landmark) 장치, 실내 GPS(Indoor Global Positioning System; IGPS) 장치 또는 다른 적당한 소자를 하나 이상 포함할 수 있다.
일 예로, 감지부(40)는 하나 이상의 엔코더를 포함할 수 있다. 이 경우, 구동부(10)는 바퀴 또는 캐터필러(caterpillar) 등과 같이 회전에 의하여 구동되는 형태의 이동 수단일 수 있다. 복수 개의 구동부(10)가 사용되는 경우 구동부(10) 각각에 엔코더가 부착될 수 있으며, 각각의 엔코더는 해당 구동부(10)의 회전수를 측정하여 몸체(1)의 구동 정보를 산출할 수 있다. 예를 들어, 각각의 구동부(10)의 회전수가 동일할 경우, 이는 몸체(1)가 직선 방향으로 전진하거나 후진하는 등의 선형 운동을 하였다는 것을 의미한다. 한편, 몸체(1)가 회전하는 경우에는, 회전으로 인하여 몸체(1)의 각 방향에 연결된 구동부(10)의 회전수가 서로 상이하게 된다. 따라서 구동부(10)의 위치에 따른 회전수를 서로 비교하여 몸체(1)의 회전을 검출할 수 있다. 예컨대, 복수 개의 구동부(10) 중 상대적으로 몸체(1)의 좌측에 위치한 구동부(10)에 비해 상대적으로 몸체(1)의 우측에 위치한 구동부(10)의 회전수가 더 작다면, 몸체(1)가 우측으로 회전되었음을 알 수 있다.
다른 예로, 감지부(40)는 하나 이상의 관성 센서를 포함할 수 있다. 관성 센서로는 하나 또는 복수 개의 축 방향의 가속도 및 각속도를 검출할 수 있는 적당한 소자가 사용될 수 있다. 예를 들어, 관성 센서는 공간상에 위치한 3개의 축 방향의 가속도를 검출할 수 있는 3축 가속도 센서 및 3개의 축 방향의 각속도를 검출할 수 있는 3축 각속도 센서를 포함하여 구성될 수 있다. 또한, 관성 센서는 서로 상이한 축 방향의 가속도를 검출하는 하나 이상의 가속도 센서 및 서로 상이한 축 방향의 각속도를 검출하는 하나 이상의 각속도 센서를 포함하여 구성될 수도 있다. 관성 센서는 몸체(1)의 이동으로 인한 가속도 및/또는 몸체(1)의 회전으로 인한 각속도를 측정하고, 측정된 가속도 및/또는 각속도로부터 몸체(1)의 실제 구동 정보를 산출할 수 있다.
또 다른 예로, 감지부(40)는 하나 이상의 거리 센서를 포함할 수 있다. 거리 센서는 몸체(1)에 부착되어 이동 로봇의 활동 범주 내의 공간 상에서 각 방향으로 인접한 벽면 또는 구조물까지의 거리를 측정하고, 이를 X, Y 좌표 등의 형태로 출력할 수 있다. 몸체(1)가 움직이면, 거리 센서는 몸체(1)가 움직이기 전에 획득한 초기의 X, Y 좌표와 움직이는 도중 또는 움직인 후의 X, Y 좌표를 비교 분석하여 몸체(1)의 구동 정보를 산출할 수 있다. 여기서, 거리 센서를 이용한 위치 파악 방법은 특정 방식에 한정되지 않는다. 또한, 거리 센서로는 초음파 센서, 레이저 센서 또는 IR(Infrared) 센서 등이 적용될 수 있다.
감지부(40)로 2개의 거리 센서가 사용될 경우, 각각의 거리 센서는 몸체(1)의 움직임 전후의 X, Y 좌표를 감지할 수 있으며, 2개의 거리 센서 사이의 위치 관계는 고정되어 있으므로, 2개의 거리 센서에서 감지된 X, Y 좌표를 바탕으로 몸체(1)의 위치 이동뿐만 아니라 회전을 검출할 수 있다. 감지부(40)로 더 많은 개수의 거리 센서가 장착될 경우 몸체(1)의 3차원적인 움직임도 파악할 수 있으며, 거리 센서의 개수가 증가할수록 보다 정확한 몸체(1)의 구동 정보를 획득할 수 있다.
또 다른 예로, 감지부(40)로 랜드마크 장치를 이용하는 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체가 도 5에 도시된다. 도 5를 참조하면, 이동 로봇의 활동 범주 내의 공간 상에 복수 개의 랜드마크(600)가 설치되며, 몸체(1)에 부착된 감지부(40)는 랜드마크(600)를 인식할 수 있는 비젼 센서를 포함하여 구성될 수 있다. 랜드마크(600)는 감지부(40)의 비젼 센서에서 인식이 가능하도록 시각적 불변 특징점 또는 특징량을 가지고 있어야 하며, 실내의 벽면 및 천장을 포함하여 감지부(40)가 감지할 수 있는 실내의 어느 곳에도 위치할 수 있다. 랜드마크(600)로는 인공 표식이나 실내에 위치하는 자연표식 등이 모두 적용될 수 있다. 감지부(40)의 비젼 센서에서는 수신된 영상 정보 중 랜드마크(600)를 인식하여 랜드마크(600)의 위치 및 크기 변화를 추출할 수 있으며, 이를 이용하여 몸체(1)의 이동 및 회전 방향과 위치 좌표 등을 산출할 수 있다. 여기서 몸체(1)의 위치 파악 방법 및 영상 신호 분석 방법은 특정 방식에 한정되는 것은 아니다.
또 다른 예로, 감지부(40)로 IGPS 장치를 이용하는 구동 명령 기반의 비젼 장치 제어 시스템이 적용된 물체가 도 6에 도시된다. 도 6을 참조하면, 이동 로봇의 활동 범주 내의 공간 내에 부착될 위치의 좌표값이 미리 설정된 IGPS 신호 송신기(710) 또는 신호 수신기(720)가 설치될 수 있다. 공간 내에 IGPS 신호 송신기(710)가 설치되는 경우 감지부(40)는 IGPS 신호 수신기로 구성될 수 있으며, 반대로 공간 내에 IGPS 신호 수신기(720)가 설치되는 경우 감지부(40)는 IGPS 신호 송신기로 구성될 수 있다.
이동 로봇이 이동하면 감지부(40)는 각각의 신호 송신기(710)(또는 신호 수신기(720))와의 통신을 통하여 각각의 신호 송신기(710)(또는 신호 수신기(720))로부터의 거리 정보를 획득할 수 있다. 또한, 복수 개의 신호 송신기(710)(또는 신호 수신기(720))로부터의 거리를 이용하여 삼각측량을 통해 감지부(40)가 부착된 몸체(1)의 위치 정보를 산출할 수 있다. 여기서, 몸체(1)의 회전 정보를 획득하기 위해, 몸체(1)에 2개의 감지부(40)를 부착할 수 있다. 몸체(1)의 움직임 전후에 몸체(1)에 부착된 2개의 감지부(40) 사이의 거리는 일정하므로, 하나의 감지부(40)로부터 각각의 신호 수신기(720)(또는 신호 송신기(710))까지의 거리 변화를 분석함으로써 몸체(1)의 회전 정보를 파악할 수 있다.
이와 관련하여, IGPS를 이용한 이동 로봇의 위치, 자세 파악 방법 및 신호 분석 방법은 특정 방식에 제한되지 않는다. 또한, IGPS 신호 송신기(710) 및 IGPS 신호 수신기(720) 각각의 개수 및 배치 위치는 특정 구성으로 한정되지 않으며, 이동 로봇의 활동 범위 및 이동 경로 등을 고려하여 적절하게 결정될 수 있다. 예컨대, 신호 송신기(710)(또는 신호 수신기(720))는 실내의 천장이나 벽면 등과 같이 감지부(40)의 신호 수신기 또는 신호 송신기가 신호를 수신할 수 있는 모든 곳에 위치할 수 있으며, IGPS 내 통신에 필요한 신호의 종류는 RF(Radio Frequency), IR, 레이저 등 특정 종류에 한정되지 않는다.
감지부(40)에서 산출된, 외란을 나타내는 구동 정보(
Figure PCTKR2011001190-appb-I000002
)는 제2 제어부(50)로 전달될 수 있다. 제2 제어부(50)는 감지부(40)에서 산출된 구동 정보를 이용하여, 외란에 의한 영향을 보상하도록 비젼 장치(2)의 구동을 제어하기 위한 제2 제어 신호(u2)를 생성할 수 있다. 이 경우 제1 제어부(30)에 의한 제1 제어 신호(u1) 및 제2 제어부(50)에 의해 생성된 제2 제어 신호(u2)를 함께 앞먹임 신호로 이용하여 비젼 장치(2)의 구동을 제어할 수 있다. 따라서, 이동 로봇의 미끄러짐이나 충돌 등 외란으로 인한 오차를 보정하고 보다 정확한 구동 정보를 산출할 수 있게 된다.
비젼 장치(2)에 제1 제어 신호(u1) 및 제2 제어 신호(u2)와 같이 복수 개의 제어 신호가 입력되는 경우, 비젼 장치(2)는 이들 제어 신호에 따라 비례 제어 방식, 퍼지 이론(Fuzzy logic), 유전자 알고리즘 또는 신경 회로망 등의 방식으로 구동될 수 있다. 그러나 이는 예시적인 것으로서, 본 발명의 실시예들에서 비젼 장치(2)의 제어 방법은 특정 기법 또는 회로에 한정되는 것은 아니다.
또한 일 실시예에서, 제2 제어부(50)는 비젼 장치(2)의 이동 및/또는 회전을 제어하는 것뿐만 아니라 비젼 장치(2)에 포함된 카메라(22)의 줌 레벨을 조절할 수도 있다. 감지부(40)에 의해 외란을 나타내는 구동 정보(
Figure PCTKR2011001190-appb-I000003
)를 산출한 결과 몸체(1)와 인식 대상 목표물(3) 사이의 거리가 증가하는 것으로 분석되었을 경우, 제2 제어부(30)는 카메라(22)의 줌 레벨을 증가시킴으로써 카메라(22)에 획득되는 인식 대상 목표물(3)의 영상의 크기를 증가시킬 수 있다. 또한 반대로, 몸체(1)와 인식 대상 목표물(3) 사이의 거리가 감소하는 것으로 분석되었을 경우 제2 제어부(50)는 카메라(22)의 줌 레벨을 감소시킴으로써 카메라(22)에 획득되는 인식 대상 목표물(3)의 영상의 크기를 감소시킬 수도 있다.
일 실시예에서, 구동 명령 기반의 비젼 장치 제어 시스템은 이미지 처리부(60) 및 제3 제어부(70)를 더 포함할 수도 있다. 이미지 처리부(60) 및 제3 제어부(70)를 이용함으로써, 제1 제어부(30) 및/또는 제2 제어부(50)에 의해 생성된 제1 및 제2 제어 신호(u1, u2)를 앞먹임 신호로 이용할 뿐만 아니라, 비젼 장치(2)에서 수신되는 영상 정보를 되먹임 신호(feedback signal)로 이용하여 제3 제어 신호(u3)를 생성할 수 있다. 비젼 장치(2)에 실제로 수신되는 영상 정보를 되먹임 신호로 이용하여 피드백을 수행함으로써, 보다 정밀하게 비젼 장치(2)의 구동을 제어하여 수신되는 영상 정보의 안정성을 높일 수 있다.
먼저, 이미지 처리부(60)는 비젼 장치(2)에 수신되는 영상 정보에서 미리 결정된 타겟(target)의 위치를 산출할 수 있다. 예컨대 미리 결정된 타겟이란 비젼 장치(2)의 인식 대상 목표물(3)일 수 있으며, 비젼 장치(2)의 용도에 따라 다양한 물체가 타겟으로 사용될 수 있다. 이미지 처리부(60)에 의해 영상 정보를 처리하여 타겟 위치를 산출하는 과정에는 공지된 또는 향후 개발될 다양한 이미지 처리(image processing) 기법이 사용될 수 있으며, 본 발명의 실시예들에서 영상 정보의 처리 방법은 특정 이미지 처리 수단 또는 기법에 한정되지 않는다. 이미지 처리부(60)는 타겟 위치와 기준 위치 사이의 차이에 대응되는 신호(e)를 제3 제어부(70)로 전달할 수 있다.
제3 제어부(70)는, 타겟 위치와 기준 위치의 차이에 기초하여 비젼 장치(2)의 구동을 제어하기 위한 제3 제어 신호(u3)를 생성할 수 있다. 제3 제어부(70)는 타겟 위치와 기준 위치의 차이가 감소되는 방향으로 비젼 장치(2)를 구동시키도록 제3 제어 신호(u3)를 생성할 수 있다. 예를 들어, 영상 정보가 2차원의 이미지이며 x축 및 y축에 의해 정의되는 좌표 평면에서 기준 위치의 좌표가 (0, 0), 타겟 위치의 좌표가 (1, 1)이라 할 경우, 제3 제어부(70)는 비젼 장치(2)의 시선 지향점이 (1, 1) 위치를 향하도록 비젼 장치를 이동 및/또는 회전시킴으로써 타겟 위치가 기준 위치로 수렴하도록 할 수 있다. 이상과 같이 되먹임 신호인 제3 제어 신호(u3)를 앞먹임 신호인 제1 제어 신호(u1) 및 제2 제어 신호(u2)와 함께 사용하여 비젼 장치(2)를 제어함으로써, 보다 정밀하게 비젼 장치(2)의 구동을 제어할 수 있게 된다.
이상에서 설명한 구동 명령 기반의 비젼 장치 제어 시스템을 이용하면, 이동 로봇이 선형 및/또는 회전 이동하는 경우에도 이동 로봇의 비젼 장치의 시선 방향을 인식 대상 목표를 향하여 일정하게 유지할 수 있다. 즉, 목표가 비젼 장치의 출력 영상 프레임의 중심에 지속적으로 위치하도록 할 수 있다. 본 명세서에 기술된 실시예에서는 이동 로봇이 이동하는 경우 비젼 장치를 일 방향으로 이동 및/또는 회전시키는 동작에 대해 설명하였으나, 이는 예시적인 것으로서, 전후, 좌우 및 상하 방향을 포함하여 공간상의 임의의 방향으로 비젼 장치를 이동시키거나 공간상의 임의의 방향을 중심으로 하여 비젼 장치를 회전시키는 것이 가능하다.
또한 이상에서 설명한 실시예에서는 특정 인식 대상 목표를 주시하기 위해 이동 로봇에서 비젼 장치 부분을 구동시키는 타겟 트래킹 시스템을 구현하였으나, 이는 예시적인 것으로서 본 발명에 따른 구동 명령 기반의 비젼 장치 제어 시스템은 이동 로봇의 다른 부분의 위치 및/또는 방향을 일정하게 유지하기 위한 안정화 및 제어에도 응용될 수 있다. 또한, 이동 로봇 외에도 구동 명령으로 제어되는 임의의 무인 장치에 포함된 비젼 장치 또는 다른 적당한 장치의 트래킹 기능 구현에도 적용될 수 있다.
도 7은 일 실시예에 따른 구동 명령 기반의 비젼 장치 제어 방법을 나타내는 순서도이다.
도 7을 참조하면, 먼저 구동 명령에 따라 이동 로봇의 몸체를 구동시킬 수 있다(S1). 구동 명령에는 이동 로봇의 이동 거리, 이동 속도, 회전 각도, 회전 속도 또는 이동 도착 지점 정보 등 이동 로봇의 선형 또는 회전 이동을 정의하기 위한 하나 이상의 정보가 포함될 수 있다. 이러한 구동 명령은 이동 로봇의 외부로부터 생성되어 유선 및/또는 무선 통신을 통하여 이동 로봇에 전달될 수도 있으며, 또는 이동 로봇의 내부에서 자체적으로 생성될 수도 있다.
다음으로, 구동 명령을 이용하여 예측된 몸체의 구동에 대응하여 비젼 장치를 구동시킬 수 있다(S2). 이동 로봇의 몸체 및 비젼 장치는 직접 또는 간접적으로 서로 연결되어 있으므로, 구동 명령에 따라 몸체가 선형 및/또는 회전 이동하면 비젼 장치의 위치 및/또는 방향도 이에 따라 변화하게 된다. 또한, 비젼 장치는 인식 대상 목표의 영상 정보를 수신하기 위한 비젼 센서(예컨대, 카메라)를 포함하며, 그 결과 몸체의 움직임에 따라 비젼 센서에 수신되는 영상 정보 또한 영향을 받게 된다.
이러한 영향을 최소화하기 위하여, 먼저 구동 명령을 이용하여 몸체의 구동 정보를 산출할 수 있다. 예를 들어, 규칙 기반 방법, 칼만 필터를 이용한 방법 등 다양한 예측 제어 기술을 적용하여 구동 명령으로부터 몸체의 구동 정보를 산출할 수 있다. 다음으로, 몸체의 구동에 대응되도록 비젼 장치를 구동시킬 수 있다. 예를 들어, 몸체의 이동 및/또는 회전 방향과 반대 방향으로 비젼 장치를 이동 및/또는 회전시킬 수 있다. 이때 비젼 장치의 이동 및/또는 회전의 범위는 몸체의 구동으로 인한 비젼 장치에 수신되는 영상 정보에의 영향을 최소화할 수 있는 크기로 적절하게 결정될 수 있다.
일 실시예에서는, 이상에서 설명한 비젼 장치를 구동하는 단계(S2)에서 비젼 장치의 이동 및/또는 회전을 제어할뿐만 아니라 비젼 장치에 포함된 카메라의 줌 레벨을 조절할 수도 있다. 이 경우, 카메라에는 광학식 줌 조절 장치, 전자식 줌 조절 장치 또는 다른 적당한 조절 수단이 포함될 수 있으며, 이상의 조절 수단에 제어 신호를 전달하여 카메라의 줌 레벨을 조절할 수 있다. 몸체의 움직임에 따라 카메라의 줌을 조절함으로써, 몸체가 움직이는 경우에도 카메라가 목표의 영상 정보를 정확하게 수신할 수 있으며 영상 정보에서 목표의 크기를 일정하게 유지할 수 있다.
일 실시예에서는, 몸체에 장착된 감지부에서 몸체에 발생하는 외란을 측정하는 단계를 더 수행할 수 있다(S3). 감지부는, 구동 명령에 기초한 몸체의 구동 정보를 하나 이상의 센서에서 감지한 실제 구동 정보와 비교함으로써, 몸체에 발생하는 미끄러짐이나 충돌 등의 외란의 발생 여부 및 범위를 측정할 수 있다. 예를 들어, 엔코더, 관성 센서, 거리 센서, 랜드마크 장치, IGPS 장치 등 몸체에 장착되거나 몸체 내부에 위치하는 하나 이상의 센서 등의 소자를 감지부로 이용하여 몸체에 발생하는 외란을 측정할 수 있다.
다음으로, 측정된 외란에 대응되도록 비젼 장치를 구동시킬 수 있다(S4). 즉, 구동 명령으로부터 예측되는 몸체의 구동에 대응되도록 비젼 장치를 구동시키는 것과 동시에, 몸체에 장착된 센서 소자에서 감지된 외란에 대응되도록 비젼 장치를 구동시킬 수 있다. 따라서, 이동 로봇의 주행 중에 미끄러짐 또는 충돌 등 외란이 발생하여 구동 명령에 의한 구동 정보와 실제 이동 로봇의 구동 사이에 차이가 발생하는 경우에도, 감지부를 이용하여 외란을 감지할 수 있어 외란에 의한 오차를 보정할 수 있다.
일 실시예에서는, 외란에 대응되도록 비젼 장치를 구동하는 단계(S4)에서 비젼 장치의 이동 및/또는 회전을 제어할뿐만 아니라 비젼 장치에 포함된 카메라의 줌 레벨을 조절할 수도 있다. 카메라의 줌 레벨을 조절하는 구체적인 구성은 상기 단계(S2)와 관련하여 전술한 것으로부터 용이하게 이해될 수 있으므로 자세한 설명을 생략한다.
이상에서 설명한 것과 같이 비젼 장치의 구동이 제어되면서 비젼 장치가 영상 정보를 수신할 수 있다(S5). 그 결과 몸체의 구동에 대응되는 방향 및 크기로 비젼 장치가 이동 및 회전하게 되므로, 몸체의 이동 및 회전으로 인해 발생하는 비젼 장치의 영상 정보에 대한 영향을 최소화할 수 있다. 따라서, 이동 로봇이 움직이는 경우에도 비젼 장치가 목표를 주시할 수 있어 안정적인 영상 정보를 얻을 수 있으며, 목표가 비젼 장치의 인식 범위를 벗어나거나 목표가 비젼 장치의 인식 범위를 벗어나지 않더라도 영상에 번짐 등의 현상이 발생하는 것을 방지할 수 있다.
일 실시예에서는, 비젼 장치에 수신된 영상 정보를 이용하여 비젼 장치를 되먹임 제어하기 위한 단계(S6, S7)를 더 포함할 수도 있다. 먼저, 비젼 장치에 수신된 영상 정보에서 미리 결정된 타겟의 위치를 산출할 수 있다(S6). 미리 결정된 타겟이란 비젼 장치가 인식하고자 하는 대상 목표물의 영상에 해당할 수 있다. 다음으로, 산출된 타겟 위치를 미리 결정된 기준 위치와 비교하고, 비교 결과에 따라 비젼 장치를 구동시킬 수 있다(S7). 예를 들어, 타겟 위치와 기준 위치 사이의 차이를 감소시키는 이동 및/또는 회전 방향과 크기로 비젼 장치를 구동시킬 수 있다. 비젼 장치에서 수신된 영상 정보를 되먹임 신호로 이용하여 제어를 수행함으로써 보다 정밀한 비젼 장치의 제어가 가능하게 된다.
본 명세서에서 실시예들에 따른 구동 명령 기반의 비젼 장치 제어 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
또한, 이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
실시예들은 타겟 트래킹(target tracking)을 위한 구동 명령 기반 비젼 장치(vision device)의 제어 시스템 및 방법에 관한 것이다. 상세하게는, 구동 명령을 이용하거나 구동 명령과 이동 로봇에서 감지된 구동 정보를 함께 이용하여 이동 로봇에 장착된 비젼 장치의 시선이 인식 대상 목표를 주시하도록 비젼 장치의 구동을 제어할 수 있는 구동 명령 기반의 비젼 장치 제어 시스템 및 방법에 관한 것이다.

Claims (19)

  1. 이동 가능한 몸체;
    상기 몸체에 연결되어 구동되며 영상 정보를 수신하는 비젼 장치;
    구동 명령에 따라 상기 몸체를 구동시키는 구동부; 및
    상기 구동 명령을 이용하여 상기 몸체의 구동 정보를 산출하며, 산출된 구동 정보를 이용하여 상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 제1 제어부를 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  2. 제 1항에 있어서,
    상기 제1 제어부는 상기 비젼 장치를 이동 및/또는 회전시키는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  3. 제 2항에 있어서,
    상기 비젼 장치는 상기 몸체에 연결되는 구동기 및 상기 구동기에 연결되어 영상 정보를 수신하는 카메라를 포함하되,
    상기 제1 제어부는 상기 카메라의 줌 레벨을 더 조절하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  4. 제 1항에 있어서,
    상기 몸체에 장착되어 상기 몸체에 발생하는 외란을 측정하는 감지부; 및
    상기 감지부에서 측정된 외란으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 제2 제어부를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  5. 제 4항에 있어서,
    상기 제2 제어부는 상기 비젼 장치를 이동 및/또는 회전시키는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  6. 제 5항에 있어서,
    상기 비젼 장치는 상기 몸체에 연결되는 구동기 및 상기 구동기에 연결되어 영상 정보를 수신하는 카메라를 포함하되,
    상기 제2 제어부는 상기 카메라의 줌 레벨을 더 조절하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  7. 제 4항에 있어서,
    상기 감지부는, 엔코더, 관성 센서, 거리 센서, 랜드마크 장치 및 실내 GPS 장치 중 하나 이상을 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  8. 제 1항에 있어서,
    상기 비젼 장치에 의해 수신된 영상 정보에서 미리 결정된 타겟의 위치를 산출하는 이미지 처리부; 및
    상기 이미지 처리부에 의해 산출된 타겟의 위치를 미리 결정된 기준 위치와 비교한 결과에 따라 상기 비젼 장치를 구동시키는 제3 제어부를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  9. 제 8항에 있어서,
    상기 제3 제어부는 상기 비젼 장치를 이동 및/또는 회전시키는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  10. 제 1항에 있어서,
    상기 구동 명령은, 상기 몸체의 이동 거리, 이동 속도, 회전 각도, 회전 속도 및 이동 도착 지점 정보 중 하나 이상을 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 시스템.
  11. 이동 가능한 몸체 및 상기 몸체에 연결되어 구동되며 영상 정보를 수신하는 비젼 장치를 제공하는 단계;
    구동 명령에 따라 상기 몸체를 구동시키는 단계;
    상기 구동 명령을 이용하여 상기 몸체의 구동 정보를 산출하는 단계; 및
    상기 구동 정보를 이용하여 상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계를 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  12. 제 11항에 있어서,
    상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계는, 상기 비젼 장치를 이동 및/또는 회전시키는 단계를 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  13. 제 12항에 있어서,
    상기 비젼 장치는 상기 몸체에 연결되는 구동기 및 상기 구동기에 연결되어 영상 정보를 수신하는 카메라를 포함하며,
    상기 몸체의 구동으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계는, 상기 카메라의 줌 레벨을 조절하는 단계를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  14. 제 11항에 있어서,
    상기 몸체에 장착된 엔코더, 관성 센서, 거리 센서, 랜드마크 장치 및 실내 GPS 장치 중 하나 이상을 이용하여 상기 몸체에 발생하는 외란을 측정하는 단계; 및
    측정된 외란으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  15. 제 14항에 있어서,
    상기 측정된 외란으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계는, 상기 비젼 장치를 이동 및/또는 회전시키는 단계를 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  16. 제 15항에 있어서,
    상기 비젼 장치는 상기 몸체에 연결되는 구동기 및 상기 구동기에 연결되어 영상 정보를 수신하는 카메라를 포함하되,
    상기 측정된 외란으로 인한 영향을 보상하도록 상기 비젼 장치를 구동시키는 단계는, 상기 카메라의 줌 레벨을 조절하는 단계를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  17. 제 11항에 있어서,
    상기 비젼 장치에 의해 수신된 영상 정보를 처리하여 미리 결정된 타겟의 위치를 산출하는 단계; 및
    산출된 타겟의 위치를 미리 결정된 기준 위치와 비교한 결과에 따라 상기 비젼 장치를 구동시키는 단계를 더 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  18. 제 17항에 있어서,
    상기 산출된 타겟의 위치를 미리 결정된 기준 위치와 비교한 결과에 따라 상기 비젼 장치를 구동시키는 단계는, 상기 비젼 장치를 이동 및/또는 회전시키는 단계를 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
  19. 제 11항에 있어서,
    상기 구동 명령은, 상기 몸체의 이동 거리, 이동 속도, 회전 각도, 회전 속도 및 이동 도착 지점 정보 중 하나 이상을 포함하는 것을 특징으로 하는 구동 명령 기반의 비젼 장치 제어 방법.
PCT/KR2011/001190 2010-08-05 2011-02-23 타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법 Ceased WO2012018168A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013523076A JP5760084B2 (ja) 2010-08-05 2011-02-23 ターゲット・トラッキングのための駆動指令基盤のビジョン装置の制御システム及び方法
US13/319,608 US9996084B2 (en) 2010-08-05 2011-02-23 System and method of controlling vision device for tracking target based on motion commands

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100075515A KR101251184B1 (ko) 2010-08-05 2010-08-05 구동 명령을 이용한 비젼 트래킹 시스템 및 방법
KR10-2010-0075515 2010-08-05

Publications (1)

Publication Number Publication Date
WO2012018168A1 true WO2012018168A1 (ko) 2012-02-09

Family

ID=45559654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001190 Ceased WO2012018168A1 (ko) 2010-08-05 2011-02-23 타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법

Country Status (4)

Country Link
US (1) US9996084B2 (ko)
JP (1) JP5760084B2 (ko)
KR (1) KR101251184B1 (ko)
WO (1) WO2012018168A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089173A (ja) * 2012-10-05 2014-05-15 Jfe Steel Corp 金属板用自走式検査装置および検査方法
US11507096B2 (en) * 2020-02-11 2022-11-22 Sphero, Inc. Method and system for controlling movement of a device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
CN103776455A (zh) * 2013-12-12 2014-05-07 武汉汉迪机器人科技有限公司 红外离散光源寻迹导航系统及该寻迹导航系统的控制方法
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
KR102471370B1 (ko) * 2015-02-23 2022-11-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US10397484B2 (en) * 2015-08-14 2019-08-27 Qualcomm Incorporated Camera zoom based on sensor data
JP6755755B2 (ja) * 2016-01-28 2020-09-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
JP6634314B2 (ja) * 2016-03-01 2020-01-22 株式会社タクマ 無人航空機を用いた施設内点検システム
CN109844674B (zh) * 2018-10-15 2023-02-03 灵动科技（北京）有限公司 具有可操控摄像机和指示器的物流机器人和运行方法
KR20210000153A (ko) 2019-06-24 2021-01-04 엘지전자 주식회사 위치 인식을 위한 영상의 획득 방법 및 이를 구현하는 로봇
CN114102256B (zh) * 2021-11-04 2022-09-06 清华大学 机床旋转轴几何误差识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585680B1 (ko) * 2004-12-10 2006-06-07 엘지전자 주식회사 이동 로봇의 구동바퀴 속도지령치 생성방법
KR20060068001A (ko) * 2004-12-15 2006-06-20 엘지전자 주식회사 로봇의 목표물 추적방법
KR100797001B1 (ko) * 2006-12-19 2008-01-22 한국생산기술연구원 주행하체를 갖는 인간형 로봇
KR100906991B1 (ko) * 2007-11-07 2009-07-10 전자부품연구원 로봇의 비시인성 장애물 탐지방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3139171B2 (ja) * 1992-09-29 2001-02-26 スズキ株式会社 遠隔操縦車両搭載カメラ制御システム
JPH07234447A (ja) * 1993-12-28 1995-09-05 Canon Inc 撮影ユニットおよびカメラ
JPH09149309A (ja) * 1995-11-24 1997-06-06 Fuji Electric Co Ltd 走行型点検ロボット
JP4219996B2 (ja) * 1997-03-17 2009-02-04 富士通株式会社 ロボット
JPH10318805A (ja) * 1997-05-15 1998-12-04 Toshiba Fa Syst Eng Kk 移動点検システム
US6539284B2 (en) * 2000-07-25 2003-03-25 Axonn Robotics, Llc Socially interactive autonomous robot
DE60238109D1 (de) * 2001-02-19 2010-12-09 Honda Motor Co Ltd Automatisches Zielerkennen mittels Vorlagenvergleich
JP3968501B2 (ja) * 2001-11-30 2007-08-29 ソニー株式会社 ロボットの自己位置同定システム及び自己位置同定方法
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
KR100590549B1 (ko) * 2004-03-12 2006-06-19 삼성전자주식회사 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및이를 구현한 로봇 제어 시스템
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
JP4477924B2 (ja) * 2004-03-31 2010-06-09 本田技研工業株式会社 移動ロボットの外部検出装置
JP2006139525A (ja) * 2004-11-12 2006-06-01 Hitachi Home & Life Solutions Inc 自律移動型ロボット
JP4316477B2 (ja) * 2004-11-18 2009-08-19 パナソニック株式会社 移動ロボットの追従方法
KR100594165B1 (ko) * 2005-05-24 2006-06-28 삼성전자주식회사 네트워크 기반 로봇 제어 시스템 및 네트워크 기반 로봇제어 시스템에서 로봇 속도 제어 방법
ATE522330T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung
DE102005058867B4 (de) * 2005-12-09 2018-09-27 Cine-Tv Broadcast Systems Gmbh Verfahren und Vorrichtung zum Bewegen einer auf einem Schwenk- und Neigekopf angeordneten Kamera entlang einer vorgegebenen Bewegungsbahn
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
KR100791381B1 (ko) * 2006-06-01 2008-01-07 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
KR100763521B1 (ko) * 2006-10-31 2007-10-04 한국전자통신연구원 이동 로봇의 시선 안정화 장치
KR101059806B1 (ko) * 2007-10-29 2011-08-26 재단법인서울대학교산학협력재단 전정안 반사를 응용한 안정화 제어 시스템 및 방법
EP2071515A1 (en) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visually tracking an object in real world using 2D appearance and multicue depth estimations
KR20090074410A (ko) * 2008-01-02 2009-07-07 주식회사 마이크로로봇 로봇의 주행 제어 시스템 및 그 방법
US20100152897A1 (en) * 2008-12-16 2010-06-17 MULLER Jeffrey Method & apparatus for controlling the attitude of a camera associated with a robotic device
KR101170873B1 (ko) * 2008-12-19 2012-08-02 서울대학교산학협력단 엔코더를 이용한 비젼 트래킹 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585680B1 (ko) * 2004-12-10 2006-06-07 엘지전자 주식회사 이동 로봇의 구동바퀴 속도지령치 생성방법
KR20060068001A (ko) * 2004-12-15 2006-06-20 엘지전자 주식회사 로봇의 목표물 추적방법
KR100797001B1 (ko) * 2006-12-19 2008-01-22 한국생산기술연구원 주행하체를 갖는 인간형 로봇
KR100906991B1 (ko) * 2007-11-07 2009-07-10 전자부품연구원 로봇의 비시인성 장애물 탐지방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089173A (ja) * 2012-10-05 2014-05-15 Jfe Steel Corp 金属板用自走式検査装置および検査方法
US11507096B2 (en) * 2020-02-11 2022-11-22 Sphero, Inc. Method and system for controlling movement of a device
US12189393B2 (en) 2020-02-11 2025-01-07 Sphero, Inc. Method and system for controlling movement of a device

Also Published As

Publication number Publication date
KR101251184B1 (ko) 2013-04-08
JP5760084B2 (ja) 2015-08-05
US20120212623A1 (en) 2012-08-23
US9996084B2 (en) 2018-06-12
JP2013534339A (ja) 2013-09-02
KR20120013513A (ko) 2012-02-15

Similar Documents

Publication Publication Date Title
WO2012018168A1 (ko) 타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법
US9361818B2 (en) Operation input device and manipulator system
HK1039884B (zh) 运动跟踪系统
US11400602B2 (en) Robot system
CN104602871B (zh) 机器人引导的测量装置
Lwowski et al. HTC Vive tracker: accuracy for indoor localization
JP2018013337A (ja) 飛行物体の誘導位置決め装置および方法
EP2208083A1 (en) System for the precision localization of a target on the ground by a flying platform and associated method of operation
US12259707B2 (en) Device for monitoring the position and/or attitude and/or movement of a tool
US20210216071A1 (en) Mapping and Control System for an Aerial Vehicle
WO2024029780A1 (ko) 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법
WO2016076467A1 (ko) 포인터를 이용한 로봇의 주행 시스템 및 방법
CN108225316A (zh) 载体姿态信息的获取方法和装置及系统
CN206291910U (zh) 载体的姿态信息的获取系统
Claasen et al. High-bandwidth low-latency tracking using optical and inertial sensors
KR101194073B1 (ko) Ｉｇｐｓ를 이용한 비젼 트래킹 시스템 및 방법
WO2022146113A1 (ko) 다축 제어방식의 객체 추적 시스템
KR101209391B1 (ko) 거리 센서를 이용한 비젼 트래킹 시스템 및 방법
KR101122857B1 (ko) 랜드마크를 이용한 비젼 트래킹 시스템 및 방법
KR100948806B1 (ko) 무선 공간인식 3차원 마우스 장치 및 이의 제어 방법
KR101170873B1 (ko) 엔코더를 이용한 비젼 트래킹 시스템 및 방법
KR101929113B1 (ko) 모션인식 기반의 원격제어 시스템
Durst et al. Designing an omni-directional infrared sensor and beacon system for the eurobot competition
JP6465089B2 (ja) ロボットシステムとその識別装置
CN117464662A (zh) 为机器工作单元中的操作者提供动态安全区的系统和方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13319608

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814768

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013523076

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11814768

Country of ref document: EP

Kind code of ref document: A1