WO2020213755A1 - 로봇 및 이를 이용한 지도 업데이트 방법 - Google Patents

로봇 및 이를 이용한 지도 업데이트 방법 Download PDF

Info

Publication number
WO2020213755A1
WO2020213755A1 PCT/KR2019/004633 KR2019004633W WO2020213755A1 WO 2020213755 A1 WO2020213755 A1 WO 2020213755A1 KR 2019004633 W KR2019004633 W KR 2019004633W WO 2020213755 A1 WO2020213755 A1 WO 2020213755A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
robot
mirror
unit
indicator
Prior art date
Application number
PCT/KR2019/004633
Other languages
English (en)
French (fr)
Inventor
이성원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/490,024 priority Critical patent/US11435745B2/en
Priority to PCT/KR2019/004633 priority patent/WO2020213755A1/ko
Priority to KR1020190089169A priority patent/KR20190094132A/ko
Publication of WO2020213755A1 publication Critical patent/WO2020213755A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a robot, and more particularly, to a robot capable of determining a mirror and a map update method using the same.
  • robots have been developed for industrial use and have been responsible for part of factory automation.
  • the field of application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and domestic robots that can be used in general homes are also being produced.
  • a robot capable of driving by magnetic force is called a mobile robot.
  • An object of the present invention is to provide a robot capable of determining whether the obstacle is a mirror when the robot detects an obstacle while moving, and updating a map using the position of the mirror as coordinates, and a map update method using the same.
  • the robot according to the present invention acquires an image acquisition unit for acquiring an image, a first indicator light installed at a first position, a second indicator light installed at a distance from the first position, an image that is learned and stored inside, and the image acquisition unit. And an image discrimination module for comparing the images, and an indicator discrimination module for comparing operation information of each of the first and second indicator lights and an image acquired through the image acquisition unit.
  • the map update method using a robot includes an object discovery step of finding an object while moving, a mirror determination step of determining whether the found object is a mirror, and the mirror when the object found in the mirror determination step is determined as the mirror.
  • a mirror approaching step of approaching a position spaced apart from a predetermined distance, a mirror parallel movement step of acquiring moving position information while moving in parallel with the mirror, and updating the obtained moving position information with position information of the mirror Includes.
  • the robot according to the present invention and the map update method using the same determine that the obstacle is a mirror and update the location of the mirror on the map, thereby solving the problem that the robot damages the mirror while moving or is damaged due to the mirror. have.
  • FIG. 1 is an external view of a robot according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a robot according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining the image discrimination module of FIG. 2.
  • FIG. 4 is a view for explaining the indicator light determination module of FIG.
  • FIG. 5 is a diagram for explaining the map generation module of FIG. 2.
  • FIG. 6 is a diagram illustrating a method of operating a robot according to an exemplary embodiment of the present invention.
  • FIG. 7 is a front external view of a robot according to another embodiment of the present invention.
  • FIG. 8 is a rear external view of a robot according to another embodiment of the present invention.
  • 9 to 12 are views for explaining a mirror discrimination operation using the display shown in FIGS. 7 and 8.
  • an arbitrary component is disposed on the “top (or lower)" of the component or the “top (or lower)” of the component, the arbitrary component is arranged in contact with the top (or bottom) of the component.
  • other components may be interposed between the component and any component disposed on (or under) the component.
  • each component when a component is described as being “connected”, “coupled” or “connected” to another component, the components may be directly connected or connected to each other, but other components are “interposed” between each component. It is to be understood that “or, each component may be “connected”, “coupled” or “connected” through other components.
  • FIG. 1 is a front external view of a robot according to an embodiment of the present invention.
  • the robot according to the embodiment of the present invention is similar to a human body, that is, a head (H), a torso (B), a pair of arms (A), and a pair of legs (L). It may be in the form of a humanoid consisting of.
  • the robot shown in FIG. 1 is only one embodiment, and the present invention is applicable to all robots capable of autonomous driving.
  • the present invention is to disclose a robot capable of discriminating a mirror while driving by using an indicator light installed on the robot.
  • the LED light installed on the robot according to the embodiment of the present invention may be installed at a position of the robot that can distinguish the right and left sides of the robot.
  • at least one of the 1 position of the robot head H, the 2 position of the robot head H, and the 3 position of the robot arm A according to the embodiment of the present invention may be installed.
  • Sensors related to the motion of the robot may be installed on the head (H), body (B), arm (A), and leg (L) of the robot illustrated in FIG. 1.
  • the leg L of the robot shown in FIG. 1 is a configuration for moving the robot, and is shown in the form of a human leg, but may include all moving means such as a wheel form.
  • the present invention relates to a robot that can determine a mirror while driving and update the location of the mirror on a map using a plurality of indicator lights installed on the robot, so a detailed description of the arm and the body of the robot Omit it.
  • FIG. 2 is a block diagram of a robot according to an embodiment of the present invention.
  • the robot 100 includes an image acquisition unit 110, an indicator 120, and a communication unit 130.
  • a driving unit 140, an input unit 150, a sensor unit 160, a storage unit 170, and a control unit 180 may be included.
  • the image acquisition unit 110 is configured to photograph the surroundings of the robot, the movement area of the robot, and the external environment, and may include a camera module.
  • the camera module includes at least one optical lens, an image sensor (eg, a CMOS image sensor) having a plurality of photodiodes (eg, pixels), and photodiodes having an image formed by light passing through the optical lens.
  • It may include a digital signal processor (DSP, Digital Signal Processor) configuring an image based on a signal output from
  • the digital signal processor may generate a still image (eg, a photo) and a moving picture composed of frames composed of a still image.
  • the image acquisition unit 110 may acquire an image by photographing the surroundings of the robot 100, and the acquired image may be stored in the storage unit 170.
  • a plurality of image acquisition units 110 may be installed for each part of the robot 100 (eg, head, torso, arms, legs) in order to increase photography efficiency.
  • the indicator light 120 (for example, LED light) of the robot according to the embodiment of the present invention may be installed one on the right and one on the left side of the robot head H at one position.
  • the indicator 120 may include a first indicator installed at the left 1 position of the robot head H and a second indicator installed at the right 1 position of the robot head H.
  • the image acquisition unit 110 may be installed on the robot head H together with the indicator 120.
  • the indicator light 120 of the robot according to the embodiment of the present invention starts to be installed at one position of the robot head H, each of the plurality of indicators may be installed at different positions of the robot.
  • the communication unit 130 may transmit and receive data with other external devices such as mobile terminals, servers, and other robots.
  • the communication unit 130 may share or transmit/receive current location information and current state information of the robot 100 with a server or other devices.
  • the driving unit 140 may include all devices capable of moving the robot 100.
  • the driving unit 140 may include a leg L of the robot 100 shown in FIG. 1.
  • the input unit 150 may include an input module capable of receiving data from an external device.
  • the sensor unit 160 may include a plurality of sensors capable of detecting all data related to the driving, operation, and state of the robot 100.
  • the sensor unit 160 may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, an infrared distance sensor, and the like for detecting a craft object.
  • the sensor unit 160 may include a light detection and ranging (LIDAR).
  • the radar can monitor objects such as obstacles by using the phase difference of the transmission/reception signal via laser light, and can detect the distance, relative speed and position of the object.
  • the storage unit 170 may store data related to the robot 100.
  • the storage unit 170 records various types of information necessary for control of the robot 100 and may include a volatile or nonvolatile recording medium.
  • a recording medium stores data that can be read by a micro processor, and is a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), read only memory (ROM), and RAM. (random access memory), CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the controller 180 includes an image acquisition unit 110, an indicator 120, a communication unit 130, a driving unit 140, an input unit 150, a sensor unit 160, and a storage unit constituting the robot 100. 170), it is possible to control the overall operation of the robot. For example, the controller 180 may determine the same robot 100 as itself through the image determination module 180. The controller 180 may move the robot 100 through the travel control module 182. The controller 180 may generate a map on a path through which the robot 100 moves through the map generation module 183. The controller 180 may estimate and recognize the current position of the robot 100 through the position recognition module 184. The controller 180 may determine whether the obstacle is a mirror through the indicator light determination module 185.
  • the controller 180 may include an image determination module 181, a driving control module 182, a map generation module 183, a location recognition module 184, and an indicator light determination module 185.
  • the image determination module 181 may determine whether the obstacle is the same robot as the obstacle based on the learned and stored image (own image) and the image acquired through the image acquisition unit 110. For example, the image determination module 181 recognizes its own image based on machine learning, and compares the image acquired through the image acquisition unit 110 with the recognized image. You can determine if it is a robot.
  • the traveling control module 182 is a component that controls the movement (running) of the robot 100, and the traveling control module 182 may control the traveling unit 140.
  • the travel control module 182 may control a moving speed and a moving direction of the robot 100 and may calculate a travel distance based on the moving speed and the moving direction.
  • the map generation module 183 may generate a map according to the movement path of the robot 100 through the image acquisition unit 110 and the location recognition module 184. For example, the map generation module 183 may generate a map based on an image around the robot acquired through the image acquisition unit 110 and its own coordinates acquired through the location recognition module 184. In this case, the generated map may be transmitted to the server through the communication unit 130 or may be stored in the storage unit 170.
  • the location recognition module 184 may estimate and recognize its current location based on data input through the map, the image acquisition unit 110 and the sensor unit 160 stored in the storage unit 170. For example, the location recognition module 184 may estimate the coordinates corresponding to the current location on the map based on the stored map (storage unit), the acquired surrounding image (image acquisition unit), and the GPS detection result (sensor unit). have.
  • the indicator light determination module 185 may control the indicator 120, and may determine whether the obstacle is a mirror based on the indicator that it controls and the image acquired by the image acquisition unit 110. For example, when the image determination module 181 determines that the obstacle is the same as the robot, the indicator light determination module 185 may operate the indicators 120 installed on the right and left sides differently. At this time, by comparing the information of the indicator 120 operating differently with the image acquired through the image acquisition unit 110, it is possible to determine whether the obstacle is a mirror.
  • FIG. 3 is a diagram for explaining the image discrimination module of FIG. 2.
  • the image discrimination module 181 includes a preprocessing unit 181-1, a feature extraction unit 181-2, a pattern learning unit 181-3, and pattern storage, as shown in FIG. 3. It may include a unit (181-4) and an image determination unit (181-5).
  • the learning image is an image input through the communication unit 130 or the input unit 150 of FIG. 2, and according to an exemplary embodiment of the present invention, it may be an image of a robot in the same form as itself.
  • the actual image may include an image acquired through the image acquisition unit 110 of FIG. 2.
  • the preprocessor 181-1 is a configuration that converts a training image input through the communication unit 130 or the input unit 150 and an actual image acquired through the image acquisition unit 110 into data, and is binarized for the training image and the actual image. , Sessionization, and noise reduction can be performed.
  • the feature extraction unit 181-2 may extract features necessary for robot recognition, that is, data patterns, from the image data converted by the preprocessor 181-1.
  • the pattern learning unit 181-3 may learn a feature, that is, a data pattern, extracted from the feature extraction unit 181-2.
  • the pattern learning unit 181-3 may perform pattern learning using one or more of an artificial neural network, back propagation (BP), instance-based leaking (IBL), and C4.5.
  • An artificial neural network is an information processing system or statistical learning algorithm created based on the structure of the biological nervous system, and an artificial neuron that forms a network by combining synapses changes the strength of synapses through learning to solve problems. Can point to. Neurons of the artificial neural network are activated by the pixels of the input image, and after the transformation and weight of the function are applied, activation of the corresponding neuron can be transmitted to other neurons. This process is repeated until the last neuron is activated, which is determined by which image has been input.
  • BP Back Propagation, Error Back Propagation Algorithm
  • IBL, C4.5, etc. are related to learning algorithms similar to artificial neural networks.
  • the pattern learning unit 181-3 learns a data pattern for its own image by converting the learning image, that is, the robot's own image into data, and repeatedly learning the data-formed own image. .
  • the pattern storage unit 181-4 may store data patterns learned by the pattern learning unit 181-3.
  • the pattern storage unit 181-4 may be a recording medium disposed in the image determination module 181 or a storage unit 170 provided in the control unit 180.
  • the image determination unit 181-5 may compare data patterns for features of an actual image extracted by the feature extraction unit 181-2 based on the data patterns stored in the pattern storage unit 181-4.
  • the image discrimination module 181 stores the data pattern learned through the learning image identical to its own shape in the pattern storage unit 181-4, and stores the stored data pattern and the image acquisition unit ( By comparing the data patterns of the images input through 110), it is possible to determine whether the entity of the image acquired through the image acquisition unit 110, that is, whether an obstacle or an object is the same robot as itself.
  • FIG. 4 is a view for explaining the indicator light determination module of FIG.
  • the indicator light determination module 185 may operate.
  • the indicator light determination module 185 may include an indicator control unit 185-1 and a mirror determination unit 185-2, as illustrated in a) of FIG. 4.
  • the indicator control unit 185-1 may operate the indicators installed on the right and left sides of the robot differently. For example, the indicator controller 185-1 may control the indicator installed on the right side and the indicator installed on the left side to emit light of different colors. The indicator control unit 185-1 may control to turn on the indicator installed on the right and turn off the indicator installed on the left. The indicator controller 185-1 may control the indicator installed on the left to blink while the indicator installed on the right is turned on.
  • the mirror determination unit 185-2 is an actual image acquired through the image acquisition unit 110 based on the indicator operation information on how the indicator controller 185-1 controls the indicators installed on the right and left. By comparing with, it is possible to determine whether the actual image acquired through the image acquisition unit 110 is a mirror or a robot having the same shape as itself.
  • the operation of the mirror determination unit 185-2 will be described.
  • the indicator 120 is installed at the position 1 on the robot head H of FIG. 1, and the indicator controller 185-1 controls to turn on the left indicator and turn off the right indicator.
  • the mirror determination unit 185-2 may determine that there is a mirror on the moving path of the robot 100.
  • the mirror determination unit 185-2 is The image can be judged as another robot of the same shape as itself.
  • the mirror determination unit 185-2 may receive indicator operation information on how to control the indicators installed on the right and left of the robot from the indicator controller 185-1, and the image acquisition unit This may be a possible operation because the actual image can be provided through (110).
  • FIG. 5 is a diagram for explaining the map generation module of FIG. 2.
  • a place where a mirror is installed may be updated on a map.
  • the robot 100 may detect an obstacle or an object through the image acquisition unit 110 and the sensor unit 160 while moving (object discovery, S10).
  • the robot 100 may determine whether an obstacle or an object is a mirror through the image determination module 181 (mirror determination, S20).
  • the robot 100 may approach the mirror to a position separated by a predetermined distance by the sensor unit 160 (mirror proximity, S30).
  • the robot 100 approaching the mirror may move parallel to the mirror (moving parallel to the mirror, S40). At this time, the robot 100 may move in one direction of left and right in parallel with the mirror.
  • the robot 100 acquires its own image reflected in the mirror through the image acquisition unit 110, and when the image acquired through the image acquisition unit 110 is not determined to be its own image (one end of the mirror) You can move up to.
  • the robot 100 that has moved to one end of the mirror moves in the opposite direction and can move until the image acquired through the image acquisition unit 110 is not determined to be its own image (the other end of the mirror).
  • the robot 100 may store coordinates of a path moved parallel to the mirror through the location recognition module 184 and transmit the stored coordinates to a server or other robot or other device through the communication unit 130 (storing coordinates And transmission, S50).
  • the robot 100 may update the coordinates of the obstacle determined as a mirror on the map through the map generation module 183.
  • the server or other robot or other device receiving coordinates corresponding to the location of the mirror transmitted from the robot 100 may update the location of the mirror on the map.
  • FIG. 6 is a diagram illustrating a method of operating a robot according to an exemplary embodiment of the present invention.
  • the robot 100 may always have to operate (ON) the image acquisition unit 110 and the sensor unit 160 in order to determine the mirror.
  • ON the image acquisition unit 110
  • the sensor unit 160 of the sensor unit 160 and the image acquisition unit 110 is always operated, and when necessary, that is, when a mirror is determined, the image acquisition unit 110 You can also operate.
  • the robot 100 detects an obstacle or an object in the moving path of the sensor unit 160 (object discovery, S110).
  • the robot 100 operates (ON) the image acquisition unit 110 (camera) to determine whether the found object is a mirror (camera ON, S210).
  • the robot 100 determines whether the object discovered through the image determination module 181 is a mirror (mirror determination, S310). Additionally, the mirror determination S310 may include an operation for the robot 100 to obtain an image reflected on the mirror in order to update the position of the mirror on the map.
  • mirror determination S310 may include an operation for the robot 100 to obtain an image reflected on the mirror in order to update the position of the mirror on the map.
  • the robot 100 turns off the image acquisition unit 110 (camera) (camera OFF).
  • the robot 100 learns its own image using a learning algorithm, and compares the learned image with the image input through the image acquisition unit, so that the obstacles on the moving path are the same as it. It is possible to determine whether it is a type of robot.
  • the robot according to the embodiment of the present invention makes the operation of the indicator light installed on the left and right sides of the robot different, and determines whether the indicator operates the same as or differently from the image acquired through the image acquisition unit. It can be determined whether it is a shaped robot or a mirror.
  • the robot according to the embodiment of the present invention moves parallel to the mirror when it is determined that the obstacle existing on the movement path is a mirror, and can estimate the position (coordinate) of the mirror, and the position of the mirror is determined by a server or another robot or another. It can be sent to the device to update the location of the mirror on the map.
  • the robot according to the embodiment of the present invention is designed to rotate the image acquisition unit and the indicator light, for example, the head of the robot left and right, even if the mirror is not located in front of the robot, the image acquisition unit and Since the indicator light can be reflected on the mirror, it can act more advantageously for the mirror identification.
  • FIG. 7 is a front external view of a robot according to another embodiment of the present invention.
  • FIG. 7 is an external view showing the front of the robot in a different form from that of FIG. 1.
  • the robot 1 illustrated in FIG. 7 may include a head part 100, a body part 200, and a driving part 300.
  • the head unit 100 may include a head display 101.
  • the head portion 100 may be rotated left and right.
  • the body part 200 may include a shoulder camera 205 included in the image acquisition unit 110 of FIG. 2.
  • the driving unit 300 may include sensors 303 capable of detecting the front of the robot included in the sensor unit 160 of FIG. 2, a front rider 308a and a front rider groove 207.
  • the driving unit 300 is a configuration corresponding to the driving unit 140 shown in FIG. 2 which is a means for moving the robot 1.
  • FIG. 8 is a rear external view of a robot according to another embodiment of the present invention.
  • the robot 1 shown in FIG. 8 may also include a head part 100, a body part 200, and a driving part 300.
  • the body display 201 may be included in the rear side of the body part 200 of the robot 1.
  • the rear of the driving unit 300 of the robot 1 may include sensors 303 capable of detecting the rear surface of the robot 1 and rear lidar grooves 307a and 307b.
  • the robot 1 shown in FIGS. 7 and 8 has both a head display 101 on the head 101 and a body display 201 on the rear of the body 200, but the head display 101 ) And a robot equipped with one of the body display 201 can also identify a mirror.
  • the body display 201 is disposed on the rear of the body of the robot 1, but it may be possible to arrange the body display on the front of the body of the robot.
  • 9 to 12 are views for explaining a mirror discrimination operation using the display shown in FIGS. 7 and 8.
  • the robot shown in FIG. 1 identifies a mirror using indicator lights (eg, LED lights) arranged at positions that can determine left and right, but the robot 1 shown in FIGS. 7 and 8 has a head display.
  • the mirror may be determined using one of 101 and the body display 201 or the head display 101 and the body display 201.
  • the head display 101 or the body display 201 used to determine the mirror can determine that the obstacle is a mirror by displaying an image such as an indicator of FIG. 4 (refer to FIG. 9).
  • the head display 101 or the body display 201 used for mirror determination may determine that the obstacle is a mirror by displaying images having different left and right sides as shown in FIG. 10.
  • the head display 101 or the body display 201 used for mirror determination may determine that the obstacle is a mirror by displaying characters of different types on the left and right.
  • the head display 101 or the body display 201 used for mirror determination may determine that the obstacle is a mirror by displaying patterns of different shapes on the left and right.
  • the method of determining the mirror by the robot according to the present invention is made possible by displaying the operation status of the indicators with different left and right, images, characters and patterns with different left and right using an indicator or display. Accordingly, the present invention is a technology capable of discriminating a mirror by means of all components using visual information capable of discriminating left and right.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 이미지를 획득하는 영상 획득부, 제 1 위치에 설치된 제 1 표시등, 상기 제 1 위치로부터 이격되어 설치된 제 2 표시등, 학습되어 내부에 저장된 이미지와 상기 영상 획득부를 통해 획득된 이미지를 비교하는 이미지 판별 모듈, 및 상기 제 1 및 제 2 표시등 각각의 동작 정보 및 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 표시등 판별 모듈을 포함한다.

Description

로봇 및 이를 이용한 지도 업데이트 방법
본 발명은 로봇에 관한 것으로서, 보다 상세하게는 거울을 판별할 수 있는 로봇 및 이를 이용한 지도 업데이트 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 생산되고 있다. 이러한 로봇 중 자력으로 주행이 가능한 로봇을 이동 로봇이라고 한다.
이동 로봇 중에는 로봇 스스로가 판단하여 이동하고, 장애물을 피할 수 있는 자율 주행 로봇이 있으며, 현재 자율 주행 로봇의 개발이 가속화되고 있다.
본 발명의 목적은 로봇이 이동 중 장애물을 감지하였을 경우 장애물이 거울인지를 판단하고, 거울의 위치를 좌표로서 지도에 업데이트할 수 있는 로봇 및 이를 이용한 지도 업데이트 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 로봇은 이미지를 획득하는 영상 획득부, 제 1 위치에 설치된 제 1 표시등, 상기 제 1 위치로부터 이격되어 설치된 제 2 표시등, 학습되어 내부에 저장된 이미지와 상기 영상 획득부를 통해 획득된 이미지를 비교하는 이미지 판별 모듈, 및 상기 제 1 및 제 2 표시등 각각의 동작 정보 및 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 표시등 판별 모듈을 포함한다.
본 발명에 따른 로봇을 이용하는 지도 업데이트 방법은 이동 중 물체를 발견하는 물체 발견 단계, 발견된 물체가 거울인지를 판별하는 거울 판별 단계, 상기 거울 판별 단계에서 발견된 물체가 상기 거울로 판별되면 상기 거울로부터 기설정된 거리만큼 이격된 위치까지 접근하는 거울 근접 단계, 상기 거울과 평행하게 이동하면서 이동 위치 정보를 획득하는 거울 평행 이동 단계, 및 상기 획득된 이동 위치 정보를 상기 거울의 위치 정보로 업데이트하는 단계를 포함한다.
본 발명에 따른 로봇 및 이를 이용한 지도 업데이트 방법은 장애물이 거울임을 판별하고, 거울의 위치를 지도에 업데이트 함으로써, 로봇이 이동 중 거울을 파손시키거나, 거울로 인해 파손되는 문제점을 해결할 수 있는 효과가 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 로봇의 외형도이다.
도 2는 본 발명의 실시예에 따른 로봇의 구성도이다.
도 3은 도 2의 이미지 판별 모듈을 설명하기 위한 도면이다.
도 4는 도 2의 표시등 판별 모듈을 설명하기 위한 도면이다.
도 5는 도 2의 지도 생성 모듈을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 로봇의 동작 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 로봇의 전면 외형도이다.
도 8은 본 발명의 다른 실시예에 따른 로봇의 후면 외형도이다.
도 9 내지 도 12는 도 7 및 도 8에 도시된 디스플레이를 이용한 거울 판별 동작을 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
이하에서 구성요소의 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
이하에서는, 본 발명의 몇몇 실시예에 따른 로봇 및 이를 이용한 지도 업데이트 방법을 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 로봇의 정면 외형도이다.
본 발명의 실시예에 따른 로봇은 도 1에 도시된 바와 같이, 인간의 신체와 유사한 모습 즉, 머리(H), 몸통(B), 한 쌍의 팔(A) 및 한 쌍의 다리(L)로 구성된 휴머노이드(humanoid) 형태일 수 있다. 이때, 도 1에 도시된 로봇은 하나의 실시예일뿐, 본 발명은 자율 주행 가능한 모든 로봇에 적용 가능하다.
본 발명은 로봇에 설치된 표시등을 이용하여, 주행 중 거울을 판별할 수 있는 로봇을 개시하기 위한 것이다. 예를 들어, 본 발명의 실시예에 따른 로봇에 설치된 LED 라이트는 로봇의 오른쪽과 왼쪽을 구분할 수 있는 로봇의 위치에 설치될 수 있다. 더욱 상세하게 예를 들면, 본 발명의 실시예에 따른 로봇 머리(H)의 1 위치, 로봇 머리(H)의 2 위치, 및 로봇 팔(A)의 3 위치 중 적어도 어느 한 곳에는 표시등(예를 들어, LED 라이트)이 설치될 수 있다.
도 1에 도시된 로봇의 머리(H), 몸통(B), 팔(A) 및 다리(L)에는 로봇의 동작과 관련된 센서들이 설치될 수 있다. 또한, 도 1에 도시된 로봇의 다리(L)는 로봇을 이동하게 하는 구성으로, 인간의 다리 형태로 도시되어 있지만 바퀴 형태와 같은 이동 수단을 모두 포함할 수 있다.
상술한 바와 같이, 본 발명은 로봇에 설치된 복수의 표시등을 이용하여, 주행 중 거울을 판별하고, 거울의 위치를 지도에 업데이트할 수 있는 로봇에 관한 것이므로, 로봇의 팔 및 몸통에 대한 자세한 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 로봇의 구성도이다.
본 발명의 실시예에 따른 로봇(100)은 도 2에 도시된 바와 같이, 영상 획득부(110), 표시등(120), 통신부(130). 주행부(140), 입력부(150), 센서부(160), 저장부(170) 및 제어부(180)를 포함할 수 있다.
영상 획득부(110)는 로봇의 주변, 로봇의 이동 구역 및 외부 환경 등을 촬영하는 구성으로, 카메라 모듈을 포함할 수 있다. 카메라 모듈은 적어도 하나의 광학 렌즈, 광학 렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어 pixel)를 구비한 이미지 센서(예를 들어, CMOS image sensor), 및 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP, Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상(예를 들어, 사진) 및 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성할 수 있다. 영상 획득부(110)는 로봇(100) 주변을 촬영하여 영상을 획득할 수 있고, 획득된 영상은 저장부(170)에 저장될 수 있다.
영상 획득부(110)는 촬영 효율을 높이기 위해 로봇(100)의 각 부위별(예를 들어, 머리, 몸통, 팔, 다리)로 복수개가 설치될 수 있다.
본 발명의 실시예에 따른 로봇의 표시등(120, 예를 들어, LED 라이트)은 로봇 머리(H)의 1 위치에 오른쪽과 왼쪽에 각각 하나씩 설치될 수 있다. 표시등(120)은 로봇 머리(H)의 왼쪽 1 위치에 설치된 제 1 표시등 및 로봇 머리(H)의 오른쪽 1 위치에 설치된 제 2 표시등을 포함할 수 있다. 이때, 영상 획득부(110)는 표시등(120)과 함께 로봇 머리(H)에 설치될 수 있다. 본 발명의 실시예에 따른 로봇의 표시등(120)은 로봇 머리(H)의 1 위치에 설치되는 것을 개시하지만, 복수의 표시등 각각이 로봇의 서로 다른 위치에 이격되어 설치될 수도 있다.
통신부(130)는 이동 단말기, 서버 및 다른 로봇 등과 같이 외부의 다른 기기들과 데이터를 송수신할 수 있다. 예를 들어, 통신부(130)는 로봇(100)의 현재 위치 정보 및 현재 상태 정보를 서버 또는 다른 기기들과 데이터를 공유하거나 송수신할 수 있다.
주행부(140)는 로봇(100)을 이동시킬 수 있는 모든 장치를 포함할 수 있다. 예를 들어, 주행부(140)는 도 1에 도시된 로봇(100)의 다리(L)를 포함할 수 있다.
입력부(150)는 외부 기기로부터 데이터를 입력 받을 수 있는 입력 모듈을 포함할 수 있다.
센서부(160)는 로봇(100)의 주행, 동작 및 상태에 관련한 모든 데이터를 감지할 수 있는 복수의 센서를 포함할 수 있다. 예를 들어, 센서부(160)는 장예물을 감지하기 위한 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, 적외선 거리 센서 등을 포함할 수 있다. 또한 센서부(160)는 라이다(Light detection and ranging, Lidar)를 포함할 수 있다. 라이다는 레이저 광을 매개로 송수신 신호의 위상 차를 이용하여 장애물 등의 물체를 감시할 수 있으며, 물체의 거리, 상대 속도 및 위치를 검출할 수 있다.
저장부(170)는 로봇(100)과 관련된 데이터를 저장할 수 있다. 예를 들어, 저장부(170)는 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 판독될 수 있는 데이터를 저장하는 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM(read only memory), RAM(random access memory), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
제어부(180)는 로봇(100)을 구성하는 영상 획득부(110), 표시등(120), 통신부(130), 주행부(140), 입력부(150), 센서부(160) 및 저장부(170)를 제어하여, 로봇의 동작 전반을 제어할 수 있다. 예를 들어, 제어부(180)는 이미지 판별 모듈(180)를 통해 자신과 동일한 로봇(100)을 판별할 수 있다. 제어부(180)는 주행 제어 모듈(182)를 통해, 로봇(100)을 이동시킬 수 있다. 제어부(180)는 지도 생성 모듈(183)를 통해, 로봇(100)이 이동하는 경로 상의 지도를 생성할 수 있다. 제어부(180)는 위치 인식 모듈(184)를 통해, 현재 로봇(100)의 위치를 추정하여 인식할 수 있다. 제어부(180)는 표시등 판별 모듈(185)를 통해, 장애물이 거울인지를 판별할 수 있다.
제어부(180)는 이미지 판별 모듈(181), 주행 제어 모듈(182), 지도 생성 모듈(183), 위치 인식 모듈(184) 및 표시등 판별 모듈(185)를 포함할 수 있다.
이미지 판별 모듈(181)은 학습되어 내부에 저장된 이미지(자신의 이미지)와 영상 획득부(110)를 통해 획득한 이미지에 기초하여, 장애물이 자신과 동일한 로봇인지를 판별할 수 있다. 예를 들어, 이미지 판별 모듈(181)는 머신 러닝(machine learning)을 기반으로 하여 자신의 이미지를 인식하고, 영상 획득부(110)를 통해 획득한 이미지와 인식된 이미지를 비교함으로써, 장애물이 동일한 로봇인지를 판별할 수 있다.
주행 제어 모듈(182)은 로봇(100)의 이동(주행)을 제어하는 구성으로, 주행 제어 모듈(182)은 주행부(140)를 제어할 수 있다. 예를 들어, 주행 제어 모듈(182)은 로봇(100)의 이동 속도 및 이동 방향을 제어할 수 있고, 이동 속도 및 이동 방향을 기초로 하여 주행 거리를 산출할 수 있다.
지도 생성 모듈(183)은 영상 획득부(110) 및 위치 인식 모듈(184)를 통해 로봇(100)의 이동 경로에 따른 지도를 생성할 수 있다. 예를 들어, 지도 생성 모듈(183)은 영상 획득부(110)를 통해 획득한 로봇 주변의 이미지와 위치 인식 모듈(184)을 통해 획득한 자신의 좌표에 기초하여 지도를 생성할 수 있다. 이때, 생성된 지도는 통신부(130)를 통해 서버로 전송되거나 저장부(170)에 저장될 수 있다.
위치 인식 모듈(184)은 저장부(170)에 저장된 지도, 영상 획득부(110), 센서부(160)를 통해 입력되는 데이터들에 기초하여 자신의 현재 위치를 추정하고 인식할 수 있다. 예를 들어, 위치 인식 모듈(184)는 저장된 지도(저장부), 획득된 주변 이미지(영상 획득부) 및 GPS 감지 결과(센서부) 등에 기초하여 지도에 현재 위치에 대응되는 좌표를 추정할 수 있다.
표시등 판별 모듈(185)는 표시등(120)을 제어할 수 있으며, 자신이 제어하는 표시등과 영상 획득부(110)에서 획득된 이미지를 기초로 하여 장애물이 거울인지를 판별할 수 있다. 예를 들어, 표시등 판별 모듈(185)은 이미지 판별 모듈(181)에서 장애물이 자신과 동일한 로봇이라고 판별하면, 오른쪽과 왼쪽 각각에 설치된 표시등(120)을 서로 다르게 동작시킬 수 있다. 이때, 서로 다르게 동작하는 표시등(120)의 정보와 영상 획득부(110)를 통해 획득한 이미지를 비교함으로써, 장애물이 거울인지를 판별할 수 있다.
도 3은 도 2의 이미지 판별 모듈을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 이미지 판별 모듈(181)은 도 3에 도시된 바와 같이, 전처리부(181-1), 특징 추출부(181-2), 패턴 학습부(181-3), 패턴 저장부(181-4) 및 이미지 판별부(181-5)를 포함할 수 있다. 이때, 학습 이미지는 도 2의 통신부(130) 또는 입력부(150)를 통해 입력되는 이미지로서, 본 발명의 실시예에 따르면 자신과 동일한 형태의 로봇 이미지일 수 있다. 실제 이미지는 도 2의 영상 획득부(110)를 통해 획득된 이미지를 포함할 수 있다.
전처리부(181-1)는 통신부(130) 또는 입력부(150)를 통해 입력되는 학습 이미지 및 영상 획득부(110)를 통해 획득된 실제 이미지를 데이터화하는 구성으로, 학습 이미지 및 실제 이미지에 대해 이진화, 세션화, 잡음 제거 중 하나 이상의 전처리를 수행할 수 있다.
특징 추출부(181-2)는 전처리부(181-1)에서 데이터화된 이미지에 대해 로봇 인식에 필요한 특징 즉, 데이터 패턴들을 추출할 수 있다.
패턴 학습부(181-3)는 특징 추출부(181-2)에서 추출된 특징 즉 데이터 패턴을 학습할 수 있다. 예를 들어, 패턴 학습부(181-3)는 인공 신경망, BP(Back Propagation), IBL(Instance Based Learing), C4.5 중에서 하나 이상을 이용하여 패턴 학습을 수행할 수 있다. 인공 신경망은 생물학적인 신경계의 구조를 기초하여 만들어진 정보처리체계 또는 통계학적 학습 알고리즘으로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델 전반을 가리킬 수 있다. 인공 신경망의 뉴런들은 입력 이미지의 픽셀에 의해 활성화되며, 함수의 변형 및 가중치가 적용된 후 해당 뉴런의 활성화는 다른 뉴런으로 전달될 수 있다. 이러한 처리는 마지막 뉴런이 활성화될 때까지 반복되며 이것은 어떤 이미지가 입력되었는지에 따라 결정된다. BP(Back Propagation, 오차역전파법 알고리즘), IBL, C4.5 등은 인공 신경망과 유사한 학습 알고리즘에 관한 것이다.
본 발명의 실시예에 따른 패턴 학습부(181-3)는 학습 이미지 즉, 로봇 자신의 이미지를 데이터화하고, 데이터화된 자신의 이미지를 반복적으로 학습함으로써, 자신의 이미지에 대한 데이터 패턴을 학습하게 된다.
패턴 저장부(181-4)는 패턴 학습부(181-3)에서 학습된 데이터 패턴을 저장할 수 있다. 이때, 패턴 저장부(181-4)는 이미지 판별 모듈(181)에 배치된 기록 매체이거나 제어부(180)에 구비된 저장부(170)일 수 있다.
이미지 판별부(181-5)는 패턴 저장부(181-4)에 저장된 데이터 패턴을 기초로 하여 특징 추출부(181-2)에서 추출된 실제 이미지의 특징에 대한 데이터 패턴을 비교할 수 있다.
결국, 본 발명의 실시예에 따른 이미지 판별 모듈(181)은 자신의 모습과 동일한 학습 이미지를 통해 학습된 데이터 패턴을 패턴 저장부(181-4)에 저장하고, 저장된 데이터 패턴과 영상 획득부(110)를 통해 입력되는 이미지에 대한 데이터 패턴을 비교함으로써, 영상 획득부(110)를 통해 획득되는 이미지의 실체 즉, 장애물 또는 물체가 자신과 동일한 로봇인지를 판별할 수 있다.
도 4는 도 2의 표시등 판별 모듈을 설명하기 위한 도면이다.
이미지 판별 모듈(181)을 통해 영상 획득부(110)에서 획득된 이미지가 자신과 동일한 로봇이라면 표시등 판별 모듈(185)이 동작할 수 있다.
표시등 판별 모듈(185)는 도 4의 a) 도시된 바와 같이, 표시등 제어부(185-1) 및 거울 판단부(185-2)를 포함할 수 있다.
표시등 제어부(185-1)는 이미지 판별 모듈(181)을 통해 획득된 이미지가 자신과 동일한 로봇이라면, 자신의 오른쪽과 왼쪽 각각에 설치된 표시등을 서로 다르게 동작시킬 수 있다. 예를 들어, 표시등 제어부(185-1)는 오른쪽에 설치된 표시등과 왼쪽에 설치된 표시등이 서로 다른 색의 빛을 방출하도록 제어할 수 있다. 표시등 제어부(185-1)는 오른쪽에 설치된 표시등을 켜고 왼쪽에 설치된 표시등을 끄도록 제어할 수 있다. 표시등 제어부(185-1)는 오른쪽에 설치된 표시등을 켠 상태에서 왼쪽에 설치된 표시등이 깜빡거리도록 제어할 수 있다.
거울 판단부(185-2)는 표시등 제어부(185-1)가 오른쪽과 왼쪽에 설치된 표시등을 어떻게 제어하는지에 대한 표시등 동작 정보를 기초로 하여 영상 획득부(110)를 통해 획득된 실제 이미지와 비교함으로써, 영상 획득부(110)를 통해 획득된 실제 이미지가 거울인지 자신과 형태가 동일한 로봇인지를 판단할 수 있다.
도 4의 b)를 참조하여, 거울 판단부(185-2)의 동작을 설명한다. 이때, 표시등(120)은 도 1의 로봇 머리(H)에 1 위치에 설치되고, 표시등 제어부(185-1)는 왼쪽 표시등을 켜고 오른쪽 표시등을 끄도록 제어한다고 가정한다.
만약, 영상 획득부(110)를 통해 획득된 로봇 머리(H)의 이미지에서 왼쪽 표시등이 켜져 있고 오른쪽 표시등이 꺼져 있다면, 영상 획득부(110)에서 획득한 이미지는 거울에 비친 자신의 모습이므로, 거울 판단부(185-2)는 로봇(100)의 이동 경로 상에 거울이 있다고 판단할 수 있다.
한편, 영상 획득부(110)를 통해 획득된 로봇 머리(H)의 이미지에서 왼쪽 표시등이 꺼져 있고, 오른쪽 표시등이 켜져 있다면, 거울 판단부(185-2)는 영상 획득부(110)에서 획득한 이미지가 자신과 동일한 형태의 다른 로봇으로 판단할 수 있다.
이와 같은 동작은 거울 판단부(185-2)가 표시등 제어부(185-1)로부터 로봇의 오른쪽과 왼쪽에 설치된 표시등을 어떻게 제어하고 있는지에 대한 표시등 동작 정보를 제공받을 수 있고, 영상 획득부(110)를 통해 실제 이미지를 제공 받을 수 있기 때문에 가능한 동작일 수 있다.
도 5는 도 2의 지도 생성 모듈을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 거울을 판별할 수 있는 로봇을 이용하여 거울이 설치된 장소를 지도에 업데이트할 수 있다.
로봇(100)은 이동 중에 영상 획득부(110) 및 센서부(160)를 통해 장애물 또는 물체를 발견할 수 있다(물체 발견, S10).
로봇(100)은 이미지 판별 모듈(181)을 통해 장애물 또는 물체가 거울인지 아닌지를 판단할 수 있다(거울 판단, S20).
만약, 로봇(100)의 이동 경로상에 존재하는 장애물이 거울이라고 판단되면, 로봇(100)은 센서부(160)에 의해 기설정된 거리만큼 이격된 위치까지 거울에 접근할 수 있다(거울 근접, S30).
거울에 접근한 로봇(100)은 거울과 평행하게 이동할 수 있다(거울과 평행하게 이동, S40). 이때, 로봇(100)은 거울과 평행하게 왼쪽 및 오른쪽 중 한 쪽 방향으로 이동할 수 있다. 로봇(100)은 영상 획득부(110)를 통해 거울에 비친 자신의 이미지를 획득하게 되며, 영상 획득부(110)를 통해 획득된 이미지가 자신의 이미지라고 판단되지 않을 때(거울의 한쪽 끝)까지 이동할 수 있다. 또한, 거울의 한쪽 끝까지 이동한 로봇(100)은 반대 방향으로 이동하며 영상 획득부(110)를 통해 획득된 이미지가 자신의 이미지라고 판단되지 않을 때(거울의 다른 쪽 끝)까지 이동할 수 있다.
로봇(100)은 위치 인식 모듈(184)을 통해 거울과 평행하게 이동한 경로의 좌표를 저장하고, 저장된 좌표를 통신부(130)를 통해 서버 또는 다른 로봇 또는 다른 기기에 송신할 수 있다(좌표 저장 및 송신, S50). 더불어, 로봇(100)은 지도 생성 모듈(183)을 통해 거울로 판단된 장애물의 좌표를 지도에 업데이트할 수 있다. 또한, 로봇(100)이 송신한 거울의 위치에 대응되는 좌표를 입력 받은 서버 또는 다른 로봇 또는 다른 기기는 거울의 위치를 지도에 업데이트할 수 있다.
도 6은 본 발명의 실시예에 따른 로봇의 동작 방법을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 로봇(100)은 거울을 판별하기 위하여, 항상 영상 획득부(110)와 센서부(160)를 동작(ON)시켜야 할 수도 있다. 로봇(100)에서 소모되는 전력을 줄이기 위하여, 센서부(160)와 영상 획득부(110) 중 센서부(160)만 항상 동작시키고 필요시 즉, 거울을 판별할 경우에 영상 획득부(110)를 동작시킬 수도 있다.
도 6은 로봇(100)의 전력 소모를 줄이기 위한 로봇의 동작 방법을 개시한다.
로봇(100)이 센서부(160)이 이동 경로에 있는 장애물 또는 물체를 발견한다(물체 발견, S110).
로봇(100)은 발견한 물체가 거울인지를 판단하기 위하여 영상 획득부(110, 카메라)를 동작(ON)시킨다(카메라 ON, S210).
로봇(100)은 이미지 판별 모듈(181)을 통해 발견한 물체가 거울인지를 판단한다(거울 판별, S310). 추가로, 거울 판별(S310)은 로봇(100)이 거울의 위치를 지도에 업데이트하기 위하여 거울에 비친 이미지를 획득하기 위한 동작을 포함할 수 있다.
로봇(100)의 거울 판별이 완료되면, 로봇(100)은 영상 획득부(110, 카메라)를 오프시킨다(카메라 OFF).
본 발명의 실시예에 따른 로봇(100)은 학습 알고리즘을 이용하여 자신의 이미지를 학습하고, 영상 획득부를 통해 입력된 이미지와 학습된 이미지를 비교함으로써, 이동 경로 상에 존재하는 장애물이 자신과 동일한 형태의 로봇인지를 판단할 수 있다. 본 발명의 실시예에 따른 로봇은 로봇의 왼쪽과 오른쪽에 설치된 표시등의 동작을 다르게 하고, 영상 획득부를 통해 획득된 이미지에서 표시등이 자신과 동일하게 동작하는지 다르게 동작하는지를 판단하여, 장애물이 자신과 동일한 형태의 로봇인지 거울인지를 판단할 수 있다. 본 발명의 실시예에 따른 로봇은 이동 경로 상에 존재하는 장애물이 거울이라고 판단될 경우 거울과 평행하게 이동하며 거울의 위치(좌표)를 추정할 수 있고, 거울의 위치를 서버 또는 다른 로봇 또는 다른 기기에 송신하여 지도에 거울이 있는 위치를 업데이트 할 수 있다. 또한, 본 발명의 실시예에 따른 로봇은 영상 획득부와 표시등이 설치된 부분 예를 들어, 로봇의 머리를 좌우로 회전할 수 있도록 설계하는 것은 거울이 로봇의 정면에 위치하지 않아도, 영상 획득부와 표시등이 거울에 비치도록 할 수 있어, 거울 판별에 더욱 유리하게 작용할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 로봇의 전면 외형도이다.
도 7은 도 1과는 다른 형태의 로봇 전면을 도시한 외형도이다.
도 7에 도시된 로봇(1)은 헤드부(100), 바디부(200) 및 구동부(300)를 포함할 수 있다.
헤드부(100)는 헤드 디스플레이(101)를 포함할 수 있다. 헤드부(100)는 좌우로 회전이 가능할 수 있다.
바디부(200)는 도 2의 영상 획득부(110)에 포함되는 숄더 카메라(205)를 포함할 수 있다.
구동부(300)는 도 2의 센서부(160)에 포함되는 로봇의 전방을 감지할 수 있는 센서들(303), 전방 라이더(308a) 및 전방 라이더 홈(207)을 포함할 수 있다. 이때, 구동부(300)는 로봇(1)을 이동시키는 수단인 도 2에 도시된 주행부(140)와 대응되는 구성이다.
도 8은 본 발명의 다른 실시예에 따른 로봇의 후면 외형도이다.
도 8은 도 7에 도시된 로봇의 후면을 도시한 외형도이다. 그러므로, 도 8에 도시된 로봇(1) 또한 헤드부(100), 바디부(200) 및 구동부(300)를 포함할 수 있다.
도 7의 로봇(1)의 전면과는 달리 로봇(1)의 바디부(200) 후면에는 바디 디스플레이(201)가 포함될 수 있다.
로봇(1)의 구동부(300) 후면에는 로봇(1)의 후면을 감지할 수 있는 센서들(303)과 후면 라이더 홈(307a, 307b)을 포함할 수 있다.
도 7과 도 8에 도시된 로봇(1)은 헤드부(101)에 헤드 디스플레이(101) 및 바디부(200) 후면에 바디 디스플레이(201)를 구비한 것을 모두 도시하였지만, 헤드 디스 플레이(101) 및 바디 디스플레이(201) 중 하나를 구비한 로봇도 거울 판별이 가능하다. 또한 바디 디스플레이(201)는 도 8에 도시된 바와 같이, 로봇(1)의 바디 후면에 배치되었지만 로봇의 바디 전면에 바디 디스플레이를 배치하는 것도 가능할 수 있다.
도 9 내지 도 12는 도 7 및 도 8에 도시된 디스플레이를 이용한 거울 판별 동작을 설명하기 위한 도면이다.
도 1에 도시된 로봇은 좌우를 판별할 수 있는 위치에 배치된 표시등(예를 들어, LED 라이트)을 이용하여 거울을 판별하였으나, 도 7 및 도 8에 도시된 로봇(1)은 헤드 디스플레이(101) 및 바디 디스플레이(201), 또는 헤드 디스플레이(101) 및 바디 디스플레이(201) 중 하나의 디스플레이를 이용하여 거울을 판별할 수 있다.
거울 판별에 이용되는 헤드 디스플레이(101) 또는 바디 디스플레이(201)는 도 4의 표시등과 같은 이미지를 표시(도 9 참조)함으로써, 장애물이 거울임을 판별할 수 있다.
또한, 거울 판별에 이용되는 헤드 디스플레이(101) 또는 바디 디스플레이(201)는 도 10과 같이 좌우가 다른 이미지를 표시함으로써, 장애물이 거울임을 판별할 수 있다.
도 11과 같이, 거울 판별에 이용되는 헤드 디스플레이(101) 또는 바디 디스플레이(201)는 좌우가 다른 형태의 문자를 표시함으로써, 장애물이 거울임을 판별할 수 있다.
도 12와 같이, 거울 판별에 이용되는 헤드 디스플레이(101) 또는 바디 디스플레이(201)은 좌우가 다른 형태의 패턴을 표시함을써, 장애물이 거울임을 판별할 수 있다.
결국, 본 발명에 따른 로봇이 거울을 판별하는 방식은 표시등 또는 디스플레이를 이용하여 좌우가 다른 표시등의 동작 상태, 좌우가 다른 형태의 이미지, 문자 및 패턴을 표시하여 가능해진다. 따라서, 본 발명은 좌우를 판별할 수 있는 시각 정보를 이용하는 모든 구성들을 수단으로 거울을 판별할 수 있는 기술이다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (13)

  1. 이미지를 획득하는 영상 획득부;
    제 1 위치에 설치된 제 1 표시등;
    상기 제 1 위치로부터 이격되어 설치된 제 2 표시등;
    학습되어 내부에 저장된 이미지와 상기 영상 획득부를 통해 획득된 이미지를 비교하는 이미지 판별 모듈; 및
    상기 제 1 및 제 2 표시등 각각의 동작 정보 및 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 표시등 판별 모듈을 포함하는 로봇.
  2. 제 1 항에 있어서,
    상기 이미지 판별 모듈은
    상기 저장된 이미지와 상기 획득된 이미지를 비교하여 이동 경로 상에서 발견된 장애물이 거울인지 자신과 동일한 형태의 로봇인지를 판별하는 로봇.
  3. 제 2 항에 있어서,
    상기 이미지 판별 모듈은
    학습 이미지 및 상기 획득된 이미지를 데이터화하는 전처리부,
    상기 전처리부에서 데이터화된 이미지의 특징에 대응하는 데이터 패턴을 추출하는 특징 추출부,
    상기 전처리부 및 상기 특징 추출부를 통해 전달되는 상기 학습 이미지의 데이터 패턴을 인식하는 패턴 인식부,
    상기 패턴 인식부에서 인식된 데이터 패턴을 상기 저장된 이미지로 저장하는 패턴 저장부, 및
    상기 패턴 저장부에 저장된 데이터 패턴과 상기 전처리부 및 상기 특징 추출부를 통해 입력되는 상기 획득된 이미지의 데이터 패턴을 비교하여 이동 경로 상에서 발견된 장애물이 거울인지 자신과 동일한 형태의 로봇인지를 판별하는 이미지 판별부를 포함하는 로봇.
  4. 제 2 항에 있어서,
    상기 표시등 판별 모듈은
    상기 이미지 판별 모듈에서 이동 경로 상에 발견된 장애물이 거울이라 판단되면 상기 제 1 및 제 2 표시등의 동작 정보 및 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 동작을 수행하는 로봇.
  5. 제 4 항에 있어서,
    상기 표시등 판별 모듈은
    상기 이미지 판별 모듈에서 이동 경로 상에 발견된 장애물이 거울이라 판단되면 상기 제 1 및 제 2 표시등 각각을 서로 다르게 동작시키는 표시등 제어부, 및
    상기 표시등 제어부의 표시등 동작 정보와 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 거울 판단부를 포함하는 로봇.
  6. 제 5 항에 있어서,
    상기 표시등 동작 정보는 상기 제 1 표시등은 켜지고, 상기 제 2 표시등은 꺼져있다는 정보를 포함하고,
    상기 거울 판단부는
    상기 영상 획득부를 통해 획득된 이미지에서 상기 제 1 표시등이 켜지고 상기 제 2 표시등이 꺼져있으면 발견된 장애물이 거울이라 판단하고,
    상기 영상 획득부를 통해 획득된 이미지에서 상기 제 1 표시등이 꺼지고 상기 제 2 표시등이 켜져있으면 발견된 장애물이 자신과 동일한 형태의 다른 로봇이라 판단하는 로봇.
  7. 이동 중 물체를 발견하는 물체 발견 단계;
    발견된 물체가 거울인지를 판별하는 거울 판별 단계;
    상기 거울 판별 단계에서 발견된 물체가 상기 거울로 판별되면 상기 거울로부터 기설정된 거리만큼 이격된 위치까지 접근하는 거울 근접 단계;
    상기 거울과 평행하게 이동하면서 이동 위치 정보를 획득하는 거울 평행 이동 단계; 및
    상기 획득된 이동 위치 정보를 상기 거울의 위치 정보로 업데이트하는 단계를 포함하는 로봇을 이용하는 지도 업데이트 방법.
  8. 제 7 항에 있어서,
    상기 거울 판별 단계는
    학습되어 내부에 저장된 이미지와 카메라를 통해 얻는 실제 이미지를 비교하여 발견된 물체가 자신과 동일한 형태의 로봇인지를 판단하는 단계, 및
    복수의 표시등이 서로 다른 동작을 수행하도록 제어하고, 상기 카메라로 얻는 실제 이미지와 상기 복수의 표시등의 동작 정보를 비교하여 발견된 물체가 자신과 동일한 다른 로봇인지 거울인지를 판별하는 단계를 포함하는 로봇을 이용하는 지도 업데이트 방법.
  9. 제 7 항에 있어서,
    상기 거울 평행 이동 단계는
    상기 거울 근접 단계 이후 상기 거울의 오른쪽 및 왼쪽 중 하나의 방향으로 상기 거울과 평행하게 이동하는 제 1 이동 단계, 및
    상기 제 1 이동 단계 이후 상기 제 1 이동 단계와 다른 방향으로 상기 거울과 평행하게 이동하는 제 2 이동 단계를 포함하는 로봇을 이용한 지도 업데이트 방법.
  10. 제 9 항에 있어서,
    상기 제 1 이동 단계 및 상기 제 2 이동 단계 각각은
    상기 카메라로 얻는 실제 이미지가 상기 저장된 이미지와 다를 때까지 이동하는 단계를 포함하는 로봇을 이용한 지도 업데이트 방법.
  11. 이미지를 획득하는 영상 획득부;
    좌우가 다른 형태의 이미지, 문자 및 패턴을 표시하는 디스플레이;
    학습되어 내부에 저장된 이미지와 상기 영상 획득부를 통해 획득된 이미지를 비교하는 이미지 판별 모듈; 및
    상기 디스플레이에 표시되는 정보 및 상기 영상 획득부를 통해 획득되는 이미지를 비교하는 표시등 판별 모듈을 포함하는 로봇.
  12. 제 11 항에 있어서,
    상기 이미지 판별 모듈은
    상기 저장된 이미지와 상기 획득된 이미지를 비교하여 이동 경로 상에서 발견된 장애물이 거울인지 자신과 동일한 형태의 로봇인지를 판별하는 로봇.
  13. 제 12 항에 있어서,
    상기 이미지 판별 모듈은
    학습 이미지 및 상기 획득된 이미지를 데이터화하는 전처리부,
    상기 전처리부에서 데이터화된 이미지의 특징에 대응하는 데이터 패턴을 추출하는 특징 추출부,
    상기 전처리부 및 상기 특징 추출부를 통해 전달되는 상기 학습 이미지의 데이터 패턴을 인식하는 패턴 인식부,
    상기 패턴 인식부에서 인식된 데이터 패턴을 상기 저장된 이미지로 저장하는 패턴 저장부, 및
    상기 패턴 저장부에 저장된 데이터 패턴과 상기 전처리부 및 상기 특징 추출부를 통해 입력되는 상기 획득된 이미지의 데이터 패턴을 비교하여 이동 경로 상에서 발견된 장애물이 거울인지 자신과 동일한 형태의 로봇인지를 판별하는 이미지 판별부를 포함하는 로봇.
PCT/KR2019/004633 2019-04-17 2019-04-17 로봇 및 이를 이용한 지도 업데이트 방법 WO2020213755A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/490,024 US11435745B2 (en) 2019-04-17 2019-04-17 Robot and map update method using the same
PCT/KR2019/004633 WO2020213755A1 (ko) 2019-04-17 2019-04-17 로봇 및 이를 이용한 지도 업데이트 방법
KR1020190089169A KR20190094132A (ko) 2019-04-17 2019-07-23 로봇 및 이를 이용한 지도 업데이트 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004633 WO2020213755A1 (ko) 2019-04-17 2019-04-17 로봇 및 이를 이용한 지도 업데이트 방법

Publications (1)

Publication Number Publication Date
WO2020213755A1 true WO2020213755A1 (ko) 2020-10-22

Family

ID=67625038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004633 WO2020213755A1 (ko) 2019-04-17 2019-04-17 로봇 및 이를 이용한 지도 업데이트 방법

Country Status (3)

Country Link
US (1) US11435745B2 (ko)
KR (1) KR20190094132A (ko)
WO (1) WO2020213755A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771959A (ja) * 1993-09-01 1995-03-17 Tatsumi Denshi Kogyo Kk ロボットの位置測定システム
JP2013139067A (ja) * 2012-01-05 2013-07-18 Fujitsu Ltd 撮像装置を搭載したロボットの動作設定法。
US20130204481A1 (en) * 2008-12-11 2013-08-08 Kabushiki Kaisha Yaskawa Denki Robot system
US20180088057A1 (en) * 2016-09-23 2018-03-29 Casio Computer Co., Ltd. Status determining robot, status determining system, status determining method, and non-transitory recording medium
JP2018083270A (ja) * 2016-11-25 2018-05-31 シャープ株式会社 ロボット姿勢校正装置、ロボット姿勢校正方法、ロボット姿勢校正プログラム、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460849B2 (en) * 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
JP2021193470A (ja) * 2018-09-11 2021-12-23 ソニーグループ株式会社 制御装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771959A (ja) * 1993-09-01 1995-03-17 Tatsumi Denshi Kogyo Kk ロボットの位置測定システム
US20130204481A1 (en) * 2008-12-11 2013-08-08 Kabushiki Kaisha Yaskawa Denki Robot system
JP2013139067A (ja) * 2012-01-05 2013-07-18 Fujitsu Ltd 撮像装置を搭載したロボットの動作設定法。
US20180088057A1 (en) * 2016-09-23 2018-03-29 Casio Computer Co., Ltd. Status determining robot, status determining system, status determining method, and non-transitory recording medium
JP2018083270A (ja) * 2016-11-25 2018-05-31 シャープ株式会社 ロボット姿勢校正装置、ロボット姿勢校正方法、ロボット姿勢校正プログラム、及び記録媒体

Also Published As

Publication number Publication date
KR20190094132A (ko) 2019-08-12
US11435745B2 (en) 2022-09-06
US20210325890A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
KR102348041B1 (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
JP4032793B2 (ja) 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体
WO2021187793A1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
WO2021107650A1 (en) Jointly learning visual motion and confidence from local patches in event cameras
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2020241933A1 (ko) 슬레이브 로봇을 제어하는 마스터 로봇 및 그의 구동 방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2020096170A1 (ko) 쇼핑 카트로 이용 가능한 이동 로봇
WO2021158017A1 (en) Electronic device and method for recognizing object
WO2021107171A1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
WO2016209029A1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
WO2020213755A1 (ko) 로봇 및 이를 이용한 지도 업데이트 방법
WO2020184776A1 (ko) 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템
JP2007265343A (ja) 移動物体の追従装置及び同装置を備えた電動車椅子
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
CN111630346A (zh) 基于图像和无线电词语的移动设备的改进定位
WO2019225875A1 (ko) 재고 추적 방법 및 장치
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
Dharmasena et al. Design and implementation of an autonomous indoor surveillance robot based on raspberry pi
WO2022235075A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법
Wameed et al. Hand gestures robotic control based on computer vision
WO2019216673A1 (ko) 무인 이동체용 사물 유도 시스템 및 방법
WO2019199035A1 (ko) 시선 추적 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19924729

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19924729

Country of ref document: EP

Kind code of ref document: A1