WO2014126303A1 - 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치 - Google Patents

이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치 Download PDF

Info

Publication number
WO2014126303A1
WO2014126303A1 PCT/KR2013/006150 KR2013006150W WO2014126303A1 WO 2014126303 A1 WO2014126303 A1 WO 2014126303A1 KR 2013006150 W KR2013006150 W KR 2013006150W WO 2014126303 A1 WO2014126303 A1 WO 2014126303A1
Authority
WO
WIPO (PCT)
Prior art keywords
control command
delay time
time
robot
image
Prior art date
Application number
PCT/KR2013/006150
Other languages
English (en)
French (fr)
Inventor
이영훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2014126303A1 publication Critical patent/WO2014126303A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators

Definitions

  • the present invention relates to control of a mobile robot, and more particularly, to a matching method between a control command for a mobile robot and an image transmitted by the mobile robot and a control device for controlling the mobile robot.
  • Korean Patent Publication No. 2009-0012542 Korean Laid-Open Patent No. 2009-0012542 allows a user to take a picture of a monitoring position through a robot that can move a position, and uses a robot to receive a video taken from a robot at a remote location and to remotely monitor the image. Provide a home monitoring system.
  • a remote user controls the mobile robot while watching the image captured by the mobile robot through a mobile terminal. That is, the user controls the front, rear, left and right movement of the mobile robot while watching the image transmitted by the mobile robot displayed on the screen of the portable terminal.
  • the mobile robot captures a real time image and transmits it to the user's mobile terminal. It is difficult to recognize whether the image displayed on the user's portable terminal is an image corresponding to a forward, backward, right turn or left turn command due to buffering and image decoding time at the terminal.
  • the mobile terminal sequentially transmits a plurality of commands, but there is a problem in that the user may feel bored because the user does not know when the image according to the command is displayed on the screen of the mobile terminal.
  • the present invention has been proposed to solve the above problems, and in the remote monitoring using a mobile robot matching method between the control command for the mobile robot and the image transmitted by the mobile robot in a control device such as a mobile terminal of the remote user and
  • the purpose is to provide a control device for this purpose.
  • a method of matching a control command and an image in a control device for remotely controlling a robot to display an image received from the robot comprising: receiving a control command for controlling the robot; ; Transmitting the control command to the robot; And displaying the delay time until the icon corresponding to the control command and the image corresponding to the control command are received from the robot on the screen.
  • the delay time may be counted down and displayed on the screen.
  • a plurality of control commands are sequentially input and the displaying step includes an icon and a delay of the next sequence control command when the delay time for the control command waiting for the current image becomes zero (0).
  • the time can be displayed together on the screen.
  • the displaying may include displaying and displaying a plurality of control commands in order of input time, and shifting the display position of the icons when the delay time for the control command waiting for the current image becomes zero (0). .
  • the displaying may include: checking whether an input time of a recent control command is within a delay time of a previous control command or after a delay time has elapsed; If after a delay time has elapsed, determining a default delay time as the delay time of the last control command; And if it is within a delay time, determining a difference between an input time of the recent control command and an input time of the previous control command as the delay time of the latest control command.
  • the displaying may include calculating a time difference between a time point at which the delay time becomes zero and an image reception time point; And correcting the default delay time using the calculated time difference.
  • a matching method between a control command and an image in a control device for remotely controlling the robot to display an image received from the robot comprising: storing a default delay time; Receiving a first control command for controlling the robot; Determining the default delay time as a delay time of image reception for the first control command; Receiving a second control command for robot control; Checking whether an input time point of the second control command is within the default delay time; And if it is within a delay time, determining a difference between an input time of the second control command and an input time of the first control command as the delay time of the second control command.
  • a control apparatus for remotely controlling a robot to display an image received from the robot, the controller including: one or more processors; Display devices; Memory; And at least one program stored in the memory and configured to be executed by the at least one processor, wherein the program comprises: a control command transmission module configured to receive a control command for controlling the robot and to transmit the control command to the robot; And a delay time display module configured to display a delay time until an icon corresponding to the control command and an image corresponding to the control command are received from the robot on the display device.
  • the delay time display module may count down the delay time and display the delay time.
  • the control command transmission module sequentially receives a plurality of control commands, and the delay time display module displays an icon of a next order control command when a delay time for a control command waiting for a current image becomes zero (0). And the delay time may be displayed together on the display device.
  • the delay time display module may list and display a plurality of control commands in order of input time, and shift the display position of the icons when the delay time for the control command waiting for the current image becomes zero (0). have.
  • the delay time display module determines whether an input time point of a recent control command is within a delay time of a previous control command, and determines a default delay time as a delay time of the latest control command if it is after a delay time elapses, and if it is within a delay time.
  • the difference between the input time of the recent control command and the input time of the previous control command may be determined as the delay time of the recent control command.
  • the delay time display module may calculate a time difference between when the delay time becomes zero and an image reception time, and correct the default delay time by using the calculated time difference.
  • the present invention can solve the frustration by allowing the user to intuitively know how much time the image is received from the mobile robot after transmitting a control command to the mobile robot in monitoring and controlling the mobile robot remotely.
  • the present invention can prevent the user from inputting the control command indiscriminately by allowing the user to intuitively know the image delay time can prevent the malfunction of the robot and the malfunction of the control device.
  • FIG. 1 is a view showing the configuration of a monitoring system using a mobile robot according to an embodiment of the present invention.
  • FIG. 2 is a screen in which a control command and a delay time are mapped and displayed in a control device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a delay time display method according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a configuration of a control device according to an embodiment of the present invention.
  • FIG. 5 is a view showing the configuration of a robot control program according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method in which a control command and a delay time are mapped and displayed in a control device according to an embodiment of the present invention.
  • FIG. 1 is a view showing the configuration of a monitoring system using a mobile robot according to an embodiment of the present invention.
  • the monitoring system includes a mobile robot 110, a control device 150, and a communication network 130 connecting them.
  • a plurality of sensors 111 for detecting an abnormal situation and a wireless repeater connecting the sensor 111 and the mobile robot 110 in a home where a mobile robot moves and performs a boundary operation or the like need a security ( 113).
  • the communication network 130 may be any one of WiFi network, CDMA, WCDMA, mobile WiMAX, LTE, Internet network, or a combination thereof.
  • the sensor 111 includes a heat detection sensor, a smoke detection sensor, a gas detection sensor, an intruder detection sensor, and the like for detecting an emergency situation such as a fire occurrence, a gas leak, an intruder occurrence, and the like.
  • An intruder detection sensor detects an intruder by detecting whether a door or window is opened or closed.
  • the sensor 111 transmits the detected signal to the mobile robot 110 through the wireless repeater 113.
  • the sensor 111 may include a transmission / reception module, and the transmission / reception module may detect short-range communication such as Zigbee or Bluetooth when an abnormal situation is detected by a heat sensor, a smoke sensor, a gas sensor, an intruder detection sensor, or the like.
  • the sensing signal is transmitted to the mobile robot 110 via the wireless repeater 113 through.
  • the wireless repeater 113 is described as an example, but the sensor 111 and the mobile robot 110 may transmit and receive a detection signal through direct communication.
  • the sensors 111 and the wireless repeater 113 may configure a sensor network.
  • the mobile robot 110 moves along a patrol path in the alert mode, a receiving module for receiving a signal from the sensor 111 through the wireless repeater 113, a camera for photographing an image such as the front or the rear, and a boundary mode. It includes a wheel and a wheel drive for moving under the control of the control device 150. In addition, the mobile robot 110 includes a communication module for communicating with the remote control device 150 and a processor for controlling the mobile robot as a whole.
  • the mobile robot 110 When the mobile robot 110 receives an abnormal situation detection signal from one of the sensors 111, the mobile robot 110 transmits or pushes a short message or a multimedia message informing of the abnormal situation detection to the designated control device 150 through the communication network 130. You can send a (PUSH) message.
  • the mobile robot 110 opens a video call path with the control device 150 and transmits the image captured by the camera to the control device 150 in real time, and receives the control command from the control device 150. The wheel can be driven and moved according to the control command.
  • the mobile robot 110 and the control device 150 may be interconnected through a service server or may be directly connected through a P2P connection.
  • the control device 150 may receive a message according to an abnormal situation detection from the mobile robot 110, such as a desktop computer, a laptop, or a mobile communication terminal, and control the mobile robot 110 through the communication network 120. It is a device that can mount a program. Preferably, the control device 150 is a mobile communication terminal that is easy to move and carry.
  • the control device 150 receives a real time image from the mobile robot 110 according to a user's manipulation.
  • the control device 150 connects to the service server, performs authentication, requests an image, and the service server controls the mobile robot 110.
  • the image taken by the camera of the mobile robot 110 can be transmitted in real time to the control device 150.
  • the control device 150 may directly access the mobile robot 110 by a P2P connection method and receive a real-time image from the mobile robot 110.
  • the mobile robot 110 is assigned a phone number to form a video call path with the control device 150, and the image taken by the mobile robot 110 is transmitted to the control device 150, through the video call path
  • the control command may be transmitted from the control device 150 to the mobile robot 110.
  • the control device 150 displays a control interface for controlling the mobile robot 110 on a real-time image received from the mobile robot 110 and controls the mobile robot 110 according to a user input input through the control interface. Send the command.
  • the control command includes forward, backward, left and right movement commands, vertical movement of the camera and the like.
  • the control device 150 displays a delay time until an icon corresponding to the control command and an image corresponding to the control command are received from the mobile robot 110 on the screen. Mark together. That is, an icon corresponding to the control command input by the user is displayed on the screen, and the remaining time until the image is received, that is, the delay time, is displayed at the bottom of the icon, and the delay time is counted down.
  • the control device 150 displays the time remaining until the icon corresponding to the first control command and the image corresponding to the control command are received, that is, the delay time. . After the corresponding delay time is counted, the delay time is counted down again by displaying the icons and the delay time of the control command in the next order when the delay time becomes zero. This method is repeated until the last control command.
  • the control device 150 lists the icons corresponding to the control commands according to the input order, and provides a fade out effect on the icons of the control commands that have already been processed.
  • the control device 150 has an interface 210 for selecting a left and right turn control command and an interface 230 for selecting a forward and backward control command.
  • the user controls the mobile robot 110 by inputting the front, rear, left and right control commands.
  • the control device 150 receives an image captured by the mobile robot 110 and displays the image on the screen.
  • the control device 150 displays an icon 253 corresponding to a control command input by a user on the upper center 250 of the screen, and the time until the image is received according to the control command. That is, the delay time 251 is displayed and the delay time is counted down.
  • the control device 150 displays all of the icons of the control command 255 and the unprocessed control command 257 which have already been processed, but the icons are displayed from left to right according to the input order of the user. Or right to left. And every time one control command is processed, the icons are shifted to the left or to the right. 2, icons are shifted to the right when one control command is processed. In FIG. 2, only two icons of the control command 255 that have already been processed are displayed and the previous icons disappear. Although the delay time can be displayed for all unprocessed control commands, as shown in FIG. 2, the delay time can be displayed and counted only for the icon of the control command waiting for the current image.
  • FIG. 3 is a diagram illustrating a delay time display method according to an embodiment of the present invention.
  • the lines of (c) and (d) represent the control device 150 side time line and the mobile robot 110 side time line, respectively, and the scale of each time line is 1 second.
  • a user first inputs a forward control command, and then inputs a right turn control command after 2 seconds and a left turn control command after 3 seconds. That is, a right turn is input after 2 seconds and a left turn control command is input 5 seconds after the forward control command is input.
  • 3B illustrates a time until the control device 150 transmits a control command to the mobile robot 150 and an image corresponding to the control command is received by the control device 150, that is, a delay time.
  • the delay time dT1 for the forward control command is 5 seconds
  • the delay time dT2 for the right turn control command is 2 seconds
  • the delay time dT3 for the left turn control command is 3 seconds.
  • the delay time dT1 for the first control command is a default delay time, which is a sum of the control command transmission time, the image encoding time, the image transmission time, the buffering time, and the image decoding time.
  • the default delay time may be set in advance in the control device 150 and may be set by the user.
  • the delay time of the second control command is the occurrence time T2 of the second control command and the occurrence time T1 of the first control command. Is the difference.
  • the delay time for a specific control command is a value obtained by subtracting the occurrence time of the previous control command from the time when the specific control command occurs when the specific control command occurs within the delay time of the previous control command.
  • This definition of the delay time is established when the icon of the specific control command and the delay time are displayed at the time when the countdown of the delay time of the previous control command is completed and becomes zero. If a specific control command occurs within the delay time of the previous control command and immediately displays the delay time while displaying the icon of the specific control command, the delay time of the specific control command is equal to the remaining delay time of the previous control command. The difference between the occurrence time of the specific control command and the occurrence time of the previous control command is obtained.
  • the delay time of the first control command is displayed with the icon and the delay time at the same time as the command is generated, the delay time of the first control command is the default delay time. And if a specific control command occurs after the delay time of the previous control command, the delay time of the specific control command is the default delay time as when the control command was first input.
  • the image according to the advance command is displayed on the screen at the time when the delay time of the first control command becomes 0, and the image according to the right turn command rotates to the right in the control device 150.
  • the screen is displayed when the delay time of the command becomes zero, and the image according to the left turn command is displayed on the screen when the delay time of the left turn command becomes zero.
  • the default delay time is a sum of the control command transmission time, the image encoding time, the image transmission time, the buffering time, and the image decoding time, and may be preset in the control device 150 and set by the user. Can be. And the default delay time can be corrected. That is, the control device 150 may correct the default delay time by calculating a time for receiving an image from the mobile robot 110 after transmitting one control command to the mobile robot 110. The time difference between the time point at which the delay time becomes zero and the image reception time point is calculated, and the default delay time can be corrected using the time difference.
  • FIG. 4 is a diagram illustrating a configuration of a control device according to an embodiment of the present invention.
  • the control device 150 includes a memory 402, a memory controller 404, one or more processors (CPUs) 406, a peripheral interface 408, and input / output (I / O).
  • the various components shown in FIG. 4 may be implemented in hardware, software or a combination of both hardware and software, including one or more signal processing and / or application specific integrated circuits.
  • the memory 402 may include high speed random access memory, and may also include one or more magnetic disk storage devices, nonvolatile memory such as flash memory devices, or other nonvolatile semiconductor memory devices.
  • memory 402 is a storage device located remotely from one or more processors 406, such as RF circuitry 416, the Internet, an intranet, a local area network (LAN), and a wide area network (WLAN). It may further comprise a network attached storage device accessed through a communication network (not shown), such as a storage area network (SAN), or the like, or a suitable combination thereof. Access to memory 402 by other components of control device 150, such as processor 406 and peripheral interface 408, may be controlled by memory controller 404.
  • Peripheral interface 408 connects the device's input and output peripherals with processor 406 and memory 402.
  • processors 406 execute sets of instructions stored in various software programs and / or memory 402 to perform various functions for the control device 150 and to process data.
  • peripheral interface 408, processor 406, and memory controller 404 may be implemented on a single chip, such as chip 411. In some other embodiments, they may be implemented in separate chips.
  • I / O subsystem 410 provides an interface between the peripheral interface 408 and the input and output peripherals of control device 150, such as display device 412 and other input device 414.
  • the display device 412 may use a liquid crystal display (LCD) technology or a light emitting polymer display (LPD) technology.
  • the display device 412 may be a touch display such as a capacitive type, a resistive type, or an infrared type.
  • the processor 406 is a processor configured to perform operations associated with the control device 150 and to perform instructions, for example, input and output between components of the control device 150 using instructions retrieved from the memory 402. Receive and manipulate data can be controlled.
  • the software component has an operating system 432, a graphics module (instruction set) 434, and a robot control program (instruction set) 436 mounted (installed) in the memory 402.
  • Operating system 432 can be, for example, a built-in operating system such as Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS or VxWorks, Android, etc., and can be a general system task (e.g., memory Management, storage device control, power management, etc.) and various software components and / or devices that facilitate and manage communication between the various hardware and software components.
  • a built-in operating system such as Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS or VxWorks, Android, etc.
  • general system task e.g., memory Management, storage device control, power management, etc.
  • various software components and / or devices that facilitate and manage communication between the various hardware and software components.
  • Graphics module 434 includes several well-known software components for presenting and displaying graphics on display device 412.
  • graphics refers to any object that can be displayed to the user, including, without limitation, text, web pages, icons (eg, user interface objects including soft keys), digital images, videos, animations, and the like. Include.
  • the RF circuit 416 transmits and receives electromagnetic waves.
  • RF circuitry 416 converts electrical signals into electromagnetic waves and vice versa, which communicates with communications networks and other mobile gateways and communications devices.
  • RF circuitry 416 includes, but is not limited to, for example, an antenna system, an RF transceiver, one or more amplifiers, tuners, one or more oscillators, digital signal processors, CODEC chipsets, subscriber identity module (SIM) cards, memory, and the like. It may include, but is not limited to, known circuitry for performing this function.
  • RF circuitry 416 may include the Internet, called the World Wide Web (WWW), intranets and networks and / or wireless networks such as cellular telephone networks, wireless LANs and / or metropolitan area networks (MANs), and wireless communications. Can communicate with other devices.
  • WWW World Wide Web
  • intranets and networks and / or wireless networks such as cellular telephone networks, wireless LANs and / or metropolitan area networks (MANs), and wireless communications. Can communicate with other devices.
  • MANs metropolitan area networks
  • Wireless communications include Global System for Mobile Communication (GSM), Enhanced Data GSM Environment (EDGE), wideband code division multiple access (WCDMA), code division multiple access (CDMA), time division multiple access (TDMA), Bluetooth, Wireless Fidelity (Wi-Fi) (e.g., IEEE802.11a, IEEE802.11b, IEEE802.11g and / or IEEE802.11n), voice over Internet Protocol (VoIP), Wi-MAX, email, instant messaging a plurality of communication standards, protocols and protocols, including but not limited to protocols for instant messaging and / or short text service (SMS) or other suitable communication protocols, including those not yet developed at the time of filing of this application. Any of the techniques can be used.
  • the robot control program 436 is connected to the mobile robot 110 or the service server through the RF circuit 116 to transmit a control command to the mobile robot 110 and to receive an image according to the display device 412. .
  • the robot control program 436 displays a control interface capable of controlling the mobile robot 110 on a real-time image received from the mobile robot 110 and moves to the mobile robot 110 according to a user input input through the control interface. Send the control command.
  • the control command includes forward, backward, left and right movement commands, vertical movement of the camera and the like.
  • the robot control program 436 displays an icon corresponding to the control command and a delay time until the image corresponding to the control command is received from the mobile robot 110 when a user's control command is input through the control interface. Display on device 412 together. That is, an icon corresponding to the control command input by the user is displayed on the screen, and the remaining time until the image is received, that is, the delay time, is displayed at the bottom of the icon, and the delay time is counted down.
  • the robot control program 436 displays the time remaining until the icon corresponding to the first control command and the image corresponding to the control command are received, that is, the delay time. do. After counting the delay time, the delay time is counted down by displaying the icon and delay time of the next control command when the delay time reaches zero. This method is repeated until the last control command.
  • the robot control program 436 lists the icons corresponding to the control commands in the input order and provides a fade out effect on the icons of the control commands that have been processed.
  • FIG. 5 is a view showing the configuration of a robot control program according to an embodiment of the present invention.
  • the robot control program 436 includes a mobile robot connection module 510, a control command transmission module 530, an image output module 550, and a delay time display module 570. It includes.
  • the mobile robot connection module 510 makes a video call connection directly to the mobile robot 110 through a reply exchange network or a packet exchange network, or connects to the mobile robot via a service server.
  • the control command transmission module 530 displays an interface on which the control command can be selected on the display device 412, receives a user input through the interface, and transmits the control command to the mobile robot 110. Referring to FIG. 2, the control command transmission module 530 displays an interface for selecting control commands for left and right turning on the left side of the screen, and displays an interface for selecting control commands for forward and backward on the right side of the screen. do.
  • the image output module 550 decodes the image received from the mobile robot 110 and renders the image to the display device 412.
  • the image output module 550 includes a codec for decoding and rendering an image.
  • the delay time display module 570 displays a delay time until an icon for a control command transmitted to the mobile robot 110 through the control command transmission module 530 and an image corresponding to the control command are received. 412 and count down the delay time.
  • the delay time display module 570 displays the icons of both the control command and the unprocessed control command that have already been processed, and the icons are arranged from left to right or right to left according to the user's input order, and one control command is processed. Each time you are done, you can shift the icons left or right. The delay time can be displayed and counted down only for the icon of the control command waiting for the current image among the unprocessed control commands.
  • the delay time display module 570 stores the default delay time, and when the control command occurs within the delay time of the previous control command, the delay time display module 570 subtracts the occurrence time of the previous control command as the delay time. Otherwise, if the control command occurs after the delay time of the previous control command, the default delay time is indicated by the delay time of the control command.
  • the delay time display module 570 may correct a default delay time by calculating a time for receiving an image from the mobile robot 110 after transmitting one control command to the mobile robot 110.
  • FIG. 6 is a flowchart illustrating a method in which a control command and a delay time are mapped and displayed in a control device according to an embodiment of the present invention.
  • control device 150 connects to the mobile robot 110 according to a user's input (S601).
  • the control device 150 displays an interface for inputting a control command and receives a control command of the mobile robot 110 through the interface (S603).
  • Control commands include forward, backward, right turn, left turn and so on.
  • the control device 150 receiving the control command transmits the control command to the mobile robot 110 and displays the icon and the default delay time corresponding to the control command on the screen (S605). Since it is the first control command, it displays the default delay time.
  • the control device 150 After displaying the icon and the default delay time in this manner, the control device 150 counts down and displays the default delay time (S607). The control device 150 receives a new control command from the user (S609).
  • the control device 150 receiving the new control command checks whether an input time point of the new control command is within the default delay time (S611). In other words, check whether a new control command has been entered before the default delay time counts down to zero.
  • the control device 150 displays an icon corresponding to the new control command, displays the default delay time as the delay time, and counts down again.
  • the control device 150 calculates the delay time (S613). That is, the control device 150 determines the difference between the input time of the new control command and the input time of the previous control command as the delay time. Then, the control device 150 displays the icon corresponding to the new control command and displays the calculated delay time, that is, the difference in input time at the time when the delay time of the previous control command becomes 0 (S615), and displays the delay time. Count down (S607). In this case, the icon corresponding to the new control command may also be displayed when the delay time of the previous control command becomes zero.
  • the control device 150 repeats the above-described process and counts down the delay time while displaying the icon and the delay time according to the control command. That is, each time a new control command is input, when the new control command is input within the delay time of the previous control command, the difference between the input time of the new control command and the input time of the previous control command is displayed as the delay time, and the new control Displays the default delay time if the command was entered after the delay time of the previous control command has elapsed.
  • the delay of the first control command is displayed and counted down when the time reaches zero. At this time, the delay time is a difference between the occurrence time of the second control command and the second control command.
  • the second control command when the first control command and the second control command occur sequentially, and the second control command occurs before the delay time of the first control command becomes zero, the second control command is immediately responded to when the second control command occurs. You can also count down by displaying the delay time while displaying an icon. At this time, the delay time is the sum of the difference between the remaining delay time of the first control command and the occurrence time of the second control command and the second control command.
  • the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form.
  • a recording medium CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Selective Calling Equipment (AREA)
  • Manipulator (AREA)

Abstract

이동 로봇을 이용한 원격 모니터링에 있어서 원격지 사용자의 휴대 단말과 같은 제어 장치에서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치가 개시된다. 본 발명의 일 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 로봇 제어를 위한 제어 명령을 입력받는 단계; 상기 제어 명령을 상기 로봇으로 전송하는 단계; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함한다.

Description

이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치
본 발명은 이동 로봇의 제어에 관한 것으로, 보다 구체적으로, 이동 로봇을 원격으로 제어하는데 있어서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치에 관한 것이다.
본 발명은 2013년 2월 18일에 출원된 한국특허출원 제10-2013-0016922호에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다.
종래의 보안 감시 기술은 고정된 카메라를 이용한다. 따라서 종래의 보안 감시 기술은 특정 위치의 일정한 범위를 모니터링하는 수준에 머물고 있다. 가정이나 회사와 같이 구조가 복잡하거나 카메라의 가시범위를 제한하는 장애물이 있는 지역에서는 종래의 보안 감시 기술은 적절한 기능을 제공하지 못한다.
이에 따라 이동 로봇을 이용한 보안 감시 기술이 제안되고 있다. 대표적으로 한국공개특허 제2009-0012542호를 들 수 있다. 한국공개특허 제2009-0012542호는 위치 이동이 가능한 로봇을 통해 감시 위치의 영상을 촬영할 수 있도록 하고, 통신 네트워크를 통해 원격지에서 로봇으로부터 촬영된 영상을 수신받아 원격으로 감시할 수 있도록 하는 로봇을 이용한 홈 모니터링 시스템을 제공한다.
이러한 이동 로봇을 이용한 원격 모니터링에 있어서 원격지의 사용자는 휴대 단말 등을 통해 이동 로봇이 촬영한 영상을 보면서 이동 로봇을 제어한다. 즉 사용자는 휴대 단말의 화면에 표시된 이동 로봇이 송출한 영상을 보면서, 이동 로봇의 전후좌우 이동을 제어한다. 그런데 이동 로봇에서의 영상 처리에 지연이 발생하고 또한 이동 로봇과 원격지 사용자를 연결하는 통신 네트워크에서의 전송 지연에 따라 사용자의 휴대 단말에 표시되는 영상과 사용자의 원격 제어 명령 간에 불일치가 발생하는 문제점이 있다.
예를 들어, 사용자가 휴대 단말에서 이동 로봇을 전진, 후진, 우회전, 좌회전하도록 제어하는 경우, 이동 로봇은 실시간 영상을 촬영하여 사용자의 휴대 단말로 전송하게 되는데, 영상 인코딩 시간, 네트워크 전송 시간 그리고 휴대 단말에서의 버퍼링, 영상 디코딩 시간에 의해 사용자의 휴대 단말에 표시되는 영상이 전진, 후진, 우회전, 좌회전 명령 중 어느 명령에 따른 영상인지 인식하기 어렵다. 또한 휴대 단말은 복수의 명령을 순차적으로 전송하였는데 언제 어느 명령에 따른 영상이 휴대 단말의 화면에 표시되는지 알 수 없어 사용자는 지루함을 느끼게 되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 이동 로봇을 이용한 원격 모니터링에 있어서 원격지 사용자의 휴대 단말과 같은 제어 장치에서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 로봇 제어를 위한 제어 명령을 입력받는 단계; 상기 제어 명령을 상기 로봇으로 전송하는 단계; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함한다.
상기 표시하는 단계는, 지연 시간을 카운트다운(countdown) 하여 화면에 표시할 수 있다.
상기 입력받는 단계는, 순차적으로 복수의 제어 명령을 입력받고, 상기 표시하는 단계는, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 화면에 함께 표시할 수 있다.
상기 표시하는 단계는, 복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트할 수 있다.
상기 표시하는 단계는, 최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 지연 시간 경과 후인지 확인하는 단계; 지연 시간 경과 후인 경우, 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하는 단계; 및 지연 시간 내인 경우, 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 단계;를 포함할 수 있다.
상기 표시하는 단계는, 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하는 단계; 및 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 단계;를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 디폴트 지연 시간을 기억하는 단계; 로봇 제어를 위한 제 1 제어 명령을 입력받는 단계; 상기 디폴트 지연 시간을 상기 제 1 제어 명령에 대한 영상 수신의 지연 시간으로 결정하는 단계; 로봇 제어를 위한 제 2 제어 명령을 입력받는 단계; 상기 제 2 제어 명령의 입력 시점이 상기 디폴트 지연 시간 내인지 확인하는 단계; 및 지연 시간 내인 경우, 상기 제 2 제어 명령의 입력 시간과 상기 제 1 제어 명령의 입력 시간의 차를 상기 제 2 제어 명령의 지연 시간으로 결정하는 단계;를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치는, 하나 이상의 프로세서; 디스플레이 장치; 메모리; 및 상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 상기 프로그램은, 로봇 제어를 위한 제어 명령을 입력받아 상기 로봇으로 전송하는 제어 명령 전송 모듈; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 상기 디스플레이 장치에 표시하는 지연 시간 표시 모듈;을 포함한다.
상기 지연 시간 표시 모듈은, 지연 시간을 카운트다운(countdown) 하여 표시할 수 있다.
상기 제어 명령 전송 모듈은, 순차적으로 복수의 제어 명령을 입력받고, 상기 지연 시간 표시 모듈은, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 상기 디스플레이 장치에 함께 표시할 수 있다.
상기 지연 시간 표시 모듈은, 복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트할 수 있다.
상기 지연 시간 표시 모듈은, 최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 확인하여, 지연 시간 경과 후인 경우 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하고, 지연 시간 내인 경우 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정할 수 있다.
상기 지연 시간 표시 모듈은, 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정할 수 있다.
본 발명은 원격에서 이동 로봇을 제어하여 모니터링을 하는데 있어서 이동 로봇에 제어 명령을 전송한 후 얼마 후에 이동 로봇으로부터 영상이 수신되는지 직관적으로 사용자가 알 수 있도록 하여 답답함을 해소할 수 있다.
또한, 본 발명은 영상 지연 시간을 사용자가 직관적으로 알 수 있게 함으로써 사용자가 무분별하게 제어 명령을 입력하는 것을 방지하여 로봇의 오작동 및 제어 장치의 오작동을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇을 이용한 모니터링 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 화면이다.
도 3은 본 발명의 일 실시예에 따른 지연 시간 표시 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 제어 장치의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 로봇 제어 프로그램의 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 방법을 설명하는 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇을 이용한 모니터링 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 실시예에에 따른 모니터링 시스템은 이동 로봇(110), 제어 장치(150) 그리고 이들을 연결하는 통신망(130)을 포함한다. 또한 이동 로봇이 이동하며 경계 동작 등을 수행하는 가정 또는 보안이 필요한 건물 내에는 이상 상황을 탐지하는 복수의 센서(111), 그리고 상기 센서(111)와 이동 로봇(110)을 연결하는 무선 중계기(113)를 포함할 수 있다. 여기서 통신망(130)은 WiFi 네트워크, CDMA, WCDMA, 모바일 와이맥스, LTE, 인터넷 네트워크 중 어느 하나 또는 이들의 조합일 수 있다.
센서(111)는 화재 발생 여부, 가스 누출 여부, 침입자 발생 여부 등의 비상 상황을 탐지하기 위한 열 감지 센서, 연기 감지 센서, 가스 감지 센서, 침입자 감지 센서 등을 포함한다. 침입자 감지 센서는 문이나 창문의 개폐 여부를 감지하는 등의 방법으로 침입자를 감지한다.
센서(111)는 감지된 신호를 무선 중계기(113)를 통해 이동 로봇(110)에 전송한다. 이를 위해 센서(111)는 송수신 모듈을 구비할 수 있고, 송수신 모듈은 열 감지 센서, 연기 감지 센서, 가스 감지 센서, 침입자 감지 센서 등에 의해 이상 상황이 감지되면 지그비(Zigbee), 블루투스 등의 근거리 통신을 통해 무선 중계기(113)를 경유하여 이동 로봇(110)으로 감지 신호를 전송한다. 여기서는 무선 중계기(113)를 예로 들어 설명하지만 센서(111)와 이동 로봇(110)은 직접 통신을 통해 감지 신호를 송수신할 수 있다. 본 실시예에 있어서 센서(111)들과 무선 중계기(113)는 센서 네트워크를 구성할 수 있다.
이동 로봇(110)은 상기 무선 중계기(113)를 통해 센서(111)의 신호를 수신하는 수신 모듈과, 전방 또는 후방 등의 영상을 촬영하기 위한 카메라와, 경계 모드시 순찰 경로에 따라 이동하고 또한 제어 장치(150)의 제어에 따라 이동하기 위한 바퀴 및 바퀴 구동부를 포함한다. 또한 이동 로봇(110)은 원격지의 제어 장치(150)와 통신하기 위한 통신 모듈 그리고 이동 로봇을 전체적으로 제어하는 프로세서를 포함한다.
이동 로봇(110)은 센서(111)들 중 어느 하나로부터 이상 상황 탐지 신호를 수신하면 통신망(130)을 통해 지정된 제어 장치(150)로 이상 상황 탐지를 알리는 단문 메시지나 멀티미디어 메시지를 전송하거나 또는 푸시(PUSH) 메시지를 전송할 수 있다. 또한 이동 로봇(110)은 제어 장치(150)와 영상 통화로를 개설하여 카메라로 촬영된 영상을 제어 장치(150)로 실시간 송신하고, 또한 제어 장치(150)로부터 제어 명령을 수신하면 그 수신된 제어 명령에 따라 바퀴를 구동하여 이동할 수 있다.
이동 로봇(110)과 제어 장치(150)는 서비스 서버를 통해 상호 연결될 수 있고 또는 P2P 연결을 통해 직접 연결될 수 있다.
제어 장치(150)는 데스크탑 컴퓨터, 노트북, 또는 이동통신단말과 같이 이동 로봇(110)으로부터 이상 상황 탐지에 따른 메시지를 수신할 수 있고, 통신망(120)을 통해 이동 로봇(110)을 제어할 수 있는 프로그램을 탑재할 수 있는 장치이다. 바람직하게, 제어 장치(150)는 이동 및 휴대가 용이한 이동통신단말이다.
제어 장치(150)는 사용자의 조작에 따라 이동 로봇(110)으로부터 실시간 영상을 수신한다. 서비스 서버를 통해 이동 로봇(110)과 제어 장치(150)가 연결되는 경우, 제어 장치(150)는 서비스 서버에 접속하여 인증을 수행한 후 영상을 요청하고 서비스 서버는 이동 로봇(110)을 제어하여 이동 로봇(110)의 카메라에서 촬영된 영상을 수신하여 제어 장치(150)로 실시간 전송할 수 있다.
또는 이동 로봇(110)에는 고정 IP 주소가 할당되어 있어 제어 장치(150)는 P2P 연결 방식에 의해 이동 로봇(110)에 직접 접속하여 이동 로봇(110)으로부터 실시간 영상을 수신할 수 있다. 또는 이동 로봇(110)에 전화번호가 할당되어 제어 장치(150)와 영상 통화로를 형성하고, 이동 로봇(110)에서 촬영된 영상이 제어 장치(150)로 전송되고, 그 영상 통화로를 통해 제어 장치(150)로부터 이동 로봇(110)으로 제어 명령이 전송될 수 있다.
제어 장치(150)는 이동 로봇(110)으로부터 수신되는 실시간 영상 위에 이동 로봇(110)을 제어할 수 있는 제어 인터페이스를 표시하고 그 제어 인터페이스를 통해 입력되는 사용자 입력에 따라 이동 로봇(110)으로 제어 명령을 전송한다. 여기서 제어 명령은 전후좌우 이동 명령, 카메라의 상하 이동 등을 포함한다.
제어 장치(150)는 상기 제어 인터페이스를 통한 사용자의 제어 명령이 입력되면 그 제어 명령에 대응하는 아이콘 그리고 그 제어 명령에 따른 영상이 상기 이동 로봇(110)으로부터 수신되는 시점까지의 지연 시간을 화면에 함께 표시한다. 즉, 사용자가 입력한 제어 명령에 대응하는 아이콘을 화면에 표시하고 그 아이콘 하단에 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하고 그 지연 시간을 카운트다운(countdown) 한다.
제어 장치(150)는 사용자로부터 복수 개의 제어 명령이 순차적으로 입력되는 경우, 가장 먼저 입력된 제어 명령에 대응하는 아이콘 그리고 해당 제어 명령에 따른 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시한다. 그리고, 해당 지연 시간을 카운트한 후 지연 시간이 0이 되는 시점에 다음 순서의 제어 명령의 아이콘과 지연 시간을 표시하여 다시 지연 시간의 카운트다운을 한다. 이와 같은 방식은 마지막 제어 명령까지 반복된다.
바람직하게, 제어 장치(150)는 순차적으로 복수 개의 제어 명령이 입력되는 경우 입력 순서에 따라 제어 명령에 대응하는 아이콘을 나열하면서 이미 처리 완료된 제어 명령의 아이콘에 대해서는 페이드 아웃 효과를 제공한다.
도 2는 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 화면이다. 도 2를 참조하면, 제어 장치(150)의 좌측에는 좌회전, 우회전의 제어 명령을 선택할 수 있는 인터페이스(210)가 있고 우측에는 전진, 후진의 제어 명령을 선택할 수 있는 인터페이스(230)가 있다. 사용자는 이러한 전후좌우 제어 명령을 입력하여 이동 로봇(110)을 제어한다. 도 2에 도시된 바와 같이 제어 장치(150)는 이동 로봇(110)에서 촬영된 영상을 수신하여 화면에 표시한다.
또한 도 2를 참조하면, 제어 장치(150)는 화면의 중앙 상단(250)에 사용자가 입력한 제어 명령에 대응하는 아이콘(253)을 표시하고 해당 제어 명령에 따라 영상이 수신될 때까지의 시간, 즉 지연 시간(251)을 표시하고 해당 지연 시간을 카운트다운 한다.
이때, 도 2에 도시된 바와 같이, 제어 장치(150)는 이미 처리된 제어 명령(255)과 미처리 제어 명령(257)의 아이콘을 모두 표시하되 그 아이콘들은 사용자의 입력 순서에 따라 좌측에서 우측으로 또는 우측에서 좌측으로 나열된다. 그리고 하나의 제어 명령이 처리 완료될 때마다 아이콘들은 좌측으로 또는 우측으로 시프트된다. 도 2에 있어서 하나의 제어 명령이 처리 완료되면 아이콘들은 우측으로 시프트된다. 그리고 도 2에 있어서 이미 처리 완료된 제어 명령(255)의 아이콘은 두 개까지만 표시하고 그 이전의 아이콘을 사라지게 한다. 미처리된 모든 제어 명령에 대해 지연 시간을 표시할 수 있지만, 도 2에 도시된 바와 같이, 현재 영상을 대기 중인 제어 명령의 아이콘에 대해서만 지연 시간을 표시하여 카운트할 수 있다.
도 3은 본 발명의 일 실시예에 따른 지연 시간 표시 방법을 설명하는 도면이다.
도 3을 참조하면, (c)와 (d)의 라인은 각각 제어 장치(150) 측 시간 라인과 이동 로봇(110) 측 시간 라인을 나타내고, 각 시간 라인의 눈금은 1초라 가정한다. 도 3에 도시된 바와 같이, 제어 장치(150)에서 사용자는 가장 먼저 전진 제어 명령을 입력하고 이후 2초 후에 우회전 제어 명령을 입력하며 이후 3초 후에 좌회전 제어 명령을 입력한다. 즉 전진 제어 명령을 입력한 시점을 기준으로 2 초 후에 우회전, 그리고 5 초 후에 좌회전 제어 명령을 입력한다.
도 3의 (b)는 제어 장치(150)에서 제어 명령을 이동 로봇(150)으로 전송하고, 그 제어 명령에 대응하는 영상이 제어 장치(150)에 수신될 때까지의 시간, 즉 지연 시간을 나타낸다. 전진 제어 명령에 대한 지연 시간(dT1)은 5초이고, 우회전 제어 명령에 대한 지연 시간(dT2)은 2초이며, 좌회전 제어 명령에 대한 지연 시간(dT3)은 3초이다.
여기서 최초 제어 명령, 즉 전진 제어 명령에 대한 지연 시간(dT1)은 디폴트 지연 시간으로서, 제어 명령 전송 시간, 영상 인코딩 시간, 영상 전송 시간, 버퍼링 시간, 그리고 영상 디코딩 시간의 합이다. 디폴트 지연 시간은 제어 장치(150)에 미리 설정될 수 있고, 사용자에 의해 설정될 수 있다.
최초 제어 명령 이후 디폴트 지연 시간(dT1) 이내에 두 번째 제어 명령이 발생하면, 해당 두 번째 제어 명령의 지연 시간은, 그 두 번째 제어 명령의 발생 시간(T2)과 최초 제어 명령의 발생 시간(T1)의 차이다. 본 실시예에서 우회전 제어 명령은 디폴트 지연 시간(dT1) 이내에 발생하였으므로, 우회전 제어 명령의 지연 시간은 T2-T1=2가 된다.
그리고 세 번째 제어 명령이 이전 제어 명령들의 지연 시간(dT1+dT2) 내에 발생하는 경우, 해당 세 번째 제어 명령의 지연 시간은, 그 세 번째 제어 명령의 발생 시간(T3)과 최초 제어 명령의 발생 시간(T2)의 차이다. 본 실시예에서 좌회전 제어 명령은 dT1+dT2 이내에 발생하였으므로, 좌회전 제어 명령의 지연 시간은 T3-T2=3이 된다.
종합하면, 특정 제어 명령에 대한 지연 시간은, 해당 특정 제어 명령이 이전 제어 명령의 지연 시간 이내에 발생할 경우, 해당 특정 제어 명령이 발생한 시간에서 이전 제어 명령의 발생 시간을 뺀 값이다. 이러한 지연 시간의 정의는, 특정 제어 명령의 아이콘과 지연 시간을 이전 제어 명령의 지연 시간의 카운트다운이 완료되어 0이 되는 시점에 표시할 때 성립된다. 만약 특정 제어 명령이 이전 제어 명령의 지연 시간 이내에 발생하고 그 발생 즉시 해당 특정 제어 명령의 아이콘을 표시하면서 지연 시간을 표시할 경우, 특정 제어 명령의 지연 시간은 이전 제어 명령의 남은 지연 시간에, 그 특정 제어 명령의 발생 시간과 이전 제어 명령의 발생 시간의 차를 더한 값이 된다. 물론, 최초의 제어 명령의 지연 시간은 명령 발생과 동시에 아이콘 및 지연 시간이 표시되므로 해당 최초 제어 명령의 지연 시간은 디폴트 지연 시간이다. 그리고 특정 제어 명령이 이전 제어 명령의 지연 시간 이후에 발생할 경우, 해당 특정 제어 명령의 지연 시간은 최초로 제어 명령이 입력되었을 때와 마찬가지로 디폴트 지연 시간이다.
도 3의 (a)에 도시된 바와 같이, 제어 장치(150)에서 전진 명령에 따른 영상은 첫 번째 제어 명령의 지연 시간이 0이 되는 시점에 화면에 표시되고, 우회전 명령에 따른 영상은 그 우회전 명령의 지연 시간이 0이 되는 시점에 화면에 표시되며, 좌회전 명령에 따른 영상은 그 좌회전 명령의 지연 시간이 0이 되는 시점에 화면에 표시된다.
한편, 디폴트 지연 시간은 전술한 바와 같이 제어 명령 전송 시간, 영상 인코딩 시간, 영상 전송 시간, 버퍼링 시간, 그리고 영상 디코딩 시간의 합으로서, 제어 장치(150)에 미리 설정될 수 있고 사용자에 의해 설정될 수 있다. 그리고 디폴트 지연 시간은 보정될 수 있다. 즉, 제어 장치(150)는 하나의 제어 명령을 이동 로봇(110)으로 전송한 후 이동 로봇(110)으로부터 영상이 수신되는 시간을 계산하여 디폴트 지연 시간을 보정할 수 있다. 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 시간 차를 이용하여 디폴트 지연 시간을 보정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 제어 장치의 구성을 나타낸 도면이다.
도 4를 참조하면, 본 실시예에 따른 제어 장치(150)는 메모리(402), 메모리 제어기(404), 하나 이상의 프로세서(CPU)(406), 주변 인터페이스(408), 입출력(I/O) 서브시스템(410), 디스플레이 장치(412), 입력 장치(414), 그리고 RF 회로(416)를 포함한다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선(418)을 통하여 통신한다. 도 4에 도시한 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.
메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 일부 실시예에서, 메모리(402)는 하나 이상의 프로세서(406)로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 RF 회로(416)와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 더 포함할 수 있다. 프로세서(406) 및 주변 인터페이스(408)와 같은 제어 장치(150)의 다른 구성요소에 의한 메모리(402)로의 액세스는 메모리 제어기(404)에 의하여 제어될 수 있다.
주변 인터페이스(408)는 장치의 입출력 주변 장치를 프로세서(406) 및 메모리(402)와 연결시킨다. 하나 이상의 프로세서(406)는 다양한 소프트웨어 프로그램 및/또는 메모리(402)에 저장되어 있는 명령어 세트를 실행하여 제어 장치(150)를 위한 여러 기능을 수행하고 데이터를 처리한다.
일부 실시예에서, 주변 인터페이스(408), 프로세서(406) 및 메모리 제어기(404)는 칩(411)과 같은 단일 칩 상에서 구현될 수 있다. 일부 다른 실시예에서, 이들은 별개의 칩으로 구현될 수 있다.
I/O 서브시스템(410)은 디스플레이 장치(412)와 기타 입력 장치(414)와 같은 제어 장치(150)의 입출력 주변장치와 주변 인터페이스(408) 사이에 인터페이스를 제공한다.
디스플레이 장치(412)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있고, 이러한 디스플레이 장치(412)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다.
프로세서(406)는 제어 장치(150)에 연관된 동작을 수행하고 명령어들을 수행하도록 구성된 프로세서로서, 예를 들어, 메모리(402)로부터 검색된 명령어들을 이용하여, 제어 장치(150)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다.
일부 실시예에서, 소프트웨어 구성요소는 운영 체제(432), 그래픽 모듈(명령어 세트)(434) 및 로봇 제어 프로그램(명령어 세트)(436)이 메모리(402)에 탑재(설치)된다.
운영 체제(432)는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다.
그래픽 모듈(434)은 디스플레이 장치(412) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.
RF 회로(416)는 전자파를 송수신한다. RF 회로(416)는 전기 신호를 전자파로 또는 그 반대로 변환하며 이 전자파를 통하여 통신 네트워크 및 다른 이동형 게이트웨이와 통신 장치와 통신한다. RF 회로(416)는 예를 들어 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함하지만 이에 한정되지 않는, 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. RF 회로(416)는 월드 와이드 웹(World Wide Web, WWW)으로 불리는 인터넷, 인트라넷과 네트워크 및/또는, 셀룰러 전화 네트워크, 무선 LAN 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 무선 통신에 의하여 다른 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), 와이 파이(Wireless Fidelity, Wi-Fi)(예를 들어, IEEE802.11a, IEEE802.11b, IEEE802.11g 및/또는 IEEE802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징(instant messaging) 및/또는 단문 문자 서비스(SMS)용 프로토콜 또는 본 출원의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다.
로봇 제어 프로그램(436)은 RF 회로(116)를 통해 이동 로봇(110) 또는 서비스 서버와 연결되어 이동 로봇(110)으로 제어 명령을 전송하고 이에 따른 영상을 수신하여 디스플레이 장치(412)에 표시한다.
로봇 제어 프로그램(436)은 이동 로봇(110)으로부터 수신되는 실시간 영상 위에 이동 로봇(110)을 제어할 수 있는 제어 인터페이스를 표시하고 그 제어 인터페이스를 통해 입력되는 사용자 입력에 따라 이동 로봇(110)으로 제어 명령을 전송한다. 여기서 제어 명령은 전후좌우 이동 명령, 카메라의 상하 이동 등을 포함한다.
로봇 제어 프로그램(436)은 상기 제어 인터페이스를 통한 사용자의 제어 명령이 입력되면 그 제어 명령에 대응하는 아이콘 그리고 그 제어 명령에 따른 영상이 상기 이동 로봇(110)으로부터 수신되는 시점까지의 지연 시간을 디스플레이 장치(412)에 함께 표시한다. 즉, 사용자가 입력한 제어 명령에 대응하는 아이콘을 화면에 표시하고 그 아이콘 하단에 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하고 그 지연 시간을 카운트다운(countdown) 한다.
로봇 제어 프로그램(436)은 사용자로부터 복수 개의 제어 명령이 순차적으로 입력되는 경우, 가장 먼저 입력된 제어 명령에 대응하는 아이콘 그리고 해당 제어 명령에 따른 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시한다. 해당 지연 시간을 카운트한 후 지연 시간이 0이 되는 시점에 다음 순서의 제어 명령의 아이콘과 지연 시간을 표시하여 다시 지연 시간의 카운트다운을 한다. 이와 같은 방식은 마지막 제어 명령까지 반복된다.
바람직하게, 로봇 제어 프로그램(436)은 순차적으로 복수 개의 제어 명령이 입력되는 경우 입력 순서에 따라 제어 명령에 대응하는 아이콘을 나열하면서 이미 처리 완료된 제어 명령의 아이콘에 대해서는 페이드 아웃 효과를 제공한다.
도 5는 본 발명의 일 실시예에 따른 로봇 제어 프로그램의 구성을 나타낸 도면이다.
도 5에 도시된 바와 같이, 본 실시예에 따른 로봇 제어 프로그램(436)은 이동 로봇 연결 모듈(510), 제어 명령 전송 모듈(530), 영상 출력 모듈(550), 지연 시간 표시 모듈(570)을 포함한다.
이동 로봇 연결 모듈(510)은 이동 로봇(110)으로 회신 교환망 또는 패킷 교환망을 통해 직접 영상 통화 연결을 하거나, 또는 서비스 서버를 경유하여 이동 로봇과 연결한다.
제어 명령 전송 모듈(530)은 디스플레이 장치(412)에 제어 명령을 선택할 수 있는 인터페이스를 표시하고 그 인터페이스를 통한 사용자의 입력을 수신하여 제어 명령을 이동 로봇(110)으로 전송한다. 도 2를 참조하면, 제어 명령 전송 모듈(530)은 화면의 좌측에는 좌회전, 우회전의 제어 명령을 선택할 수 있는 인터페이스를 표시하고, 화면의 우측에는 전진, 후진의 제어 명령을 선택할 수 있는 인터페이스를 표시한다.
영상 출력 모듈(550)은 이동 로봇(110)으로부터 수신되는 영상을 디코딩한 후 렌더링하여 디스플레이 장치(412)에 출력한다. 영상 출력 모듈(550)은 영상을 디코딩하고 렌더링하기 위한 코덱을 포함한다.
지연 시간 표시 모듈(570)은 상기 제어 명령 전송 모듈(530)을 통해 이동 로봇(110)으로 전송된 제어 명령에 대한 아이콘 그리고 그 제어 명령에 대응하는 영상이 수신될 때까지의 지연 시간을 디스플레이 장치(412)에 표시하고 해당 지연 시간을 카운트다운 한다.
지연 시간 표시 모듈(570)은 이미 처리된 제어 명령과 미처리 제어 명령의 아이콘을 모두 표시하되 그 아이콘들은 사용자의 입력 순서에 따라 좌측에서 우측으로 또는 우측에서 좌측으로 나열하고, 하나의 제어 명령이 처리 완료될 때마다 아이콘들을 좌측으로 또는 우측으로 시프트할 수 있다. 미처리 제어 명령 중 현재 영상을 대기 중인 제어 명령의 아이콘에 대해서만 지연 시간을 표시하여 카운트다운 할 수 있다.
지연 시간 표시 모듈(570)은, 디폴트 지연 시간을 기억한 후, 제어 명령이 이전 제어 명령의 지연 시간 이내에 발생할 경우, 해당 제어 명령이 발생한 시간에서 이전 제어 명령의 발생 시간을 뺀 값을 지연 시간으로 표시하고, 그렇지 않은 경우, 즉 제어 명령이 이전 제어 명령의 지연 시간 이후에 발생할 경우, 해당 제어 명령의 지연 시간으로 디폴트 지연 시간을 표시한다.
지연 시간 표시 모듈(570)은 하나의 제어 명령을 이동 로봇(110)으로 전송한 후 이동 로봇(110)으로부터 영상이 수신되는 시간을 계산하여 디폴트 지연 시간을 보정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 방법을 설명하는 흐름도이다.
도 6을 참조하면, 먼저 제어 장치(150)는 사용자의 입력에 따라 이동 로봇(110)과 연결한다(S601). 그리고 제어 장치(150)는 제어 명령을 입력하기 위한 인터페이스를 표시하고 그 인터페이스를 통해 이동 로봇(110)의 제어 명령을 입력받는다(S603). 제어 명령은 전진, 후진, 우회전, 좌회전 등을 포함한다.
제어 명령을 입력받은 제어 장치(150)는 그 제어 명령을 이동 로봇(110)으로 전송하고, 그리고 그 제어 명령에 대응하는 아이콘 및 디폴트 지연 시간을 화면에 표시한다(S605). 최초의 제어 명령이므로 디폴트 지연 시간을 표시한다.
이와 같이 아이콘 및 디폴트 지연 시간을 표시한 후, 제어 장치(150)는 디폴트 지연 시간을 카운트다운 하여 표시한다(S607). 그리고 제어 장치(150)는 새로운 제어 명령을 사용자로부터 입력받는다(S609).
새로운 제어 명령을 입력받은 제어 장치(150)는 그 새로운 제어 명령의 입력 시점이 상기 디폴트 지연 시간 이내인지 확인한다(S611). 즉 디폴트 지연 시간이 카운트다운되어 0이 되기 전에 새로운 제어 명령이 입력되었는지 확인한다.
만약 새로운 제어 명령의 입력 시점이 디폴트 지연 시간이 경과한 후인 경우 제어 장치(150)는 해당 새로운 제어 명령에 대응하는 아이콘을 표시하면서 지연 시간으로 디폴트 지연 시간을 표시한 후 다시 카운트다운 한다.
반면, 새로운 제어 명령의 입력 시점이 디폴트 지연 시간 이내인 경우, 제어 장치(150)는 지연 시간을 계산한다(S613). 즉 제어 장치(150)는 새로운 제어 명령의 입력 시간과 이전 제어 명령의 입력 시간의 차를 지연 시간으로 결정한다. 그리고 제어 장치(150)는 새로운 제어 명령에 대응하는 아이콘을 표시하면서 상기 계산된 지연 시간, 즉 입력 시간의 차를 이전 제어 명령의 지연 시간이 0이 되는 시점에 표시하고(S615), 지연 시간을 카운트다운 한다(S607). 이때 새로운 제어 명령에 대응하는 아이콘도 이전 제어 명령의 지연 시간이 0이 되는 시점에 표시할 수 있다.
제어 장치(150)는 전술한 과정을 반복하여 제어 명령에 따른 아이콘 그리고 지연 시간을 표시하면서 지연 시간을 카운트다운 한다. 즉, 새로운 제어 명령이 입력될 때마다 해당 새로운 제어 명령이 이전 제어 명령의 지연 시간 이내에 입력된 경우, 새로운 제어 명령의 입력 시간과 이전 제어 명령의 입력 시간의 차를 지연 시간으로 표시하고, 새로운 제어 명령이 이전 제어 명령의 지연 시간 경과 후에 입력된 경우 디폴트 지연 시간을 표시한다.
도 6을 참조한 실시예에서는, 제 1 제어 명령과 제 2 제어 명령이 순차적으로 발생하고, 제 1 제어 명령의 지연 시간이 0이 되기 전에 제 2 제어 명령이 발생하는 경우, 제 1 제어 명령의 지연 시간이 0이 되는 시점에 제 2 제어 명령의 지연 시간을 표시하여 카운트다운하는 것으로 설명한다. 이때 지연 시간은 제 2 제어 명령과 제 2 제어 명령의 발생 시간의 차이다.
다른 실시 형태로서, 제 1 제어 명령과 제 2 제어 명령이 순차적으로 발생하고, 제 1 제어 명령의 지연 시간이 0이 되기 전에 제 2 제어 명령이 발생하는 경우, 제 2 제어 명령이 발생하는 즉시 대응하는 아이콘을 표시하면서 지연 시간을 표시하여 카운트다운할 수도 있다. 이때 지연 시간은 제 1 제어 명령의 남은 지연 시간에, 제 2 제어 명령 및 제 2 제어 명령의 발생 시간의 차를 합한 값이 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절한 부결합(subcombination)에서 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 아니된다. 어떤 환경에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (13)

  1. 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법으로서,
    로봇 제어를 위한 제어 명령을 입력받는 단계;
    상기 제어 명령을 상기 로봇으로 전송하는 단계; 및
    상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
  2. 제 1 항에 있어서,
    상기 표시하는 단계는,
    지연 시간을 카운트다운(countdown) 하여 화면에 표시하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
  3. 제 2 항에 있어서,
    상기 입력받는 단계는, 순차적으로 복수의 제어 명령을 입력받고,
    상기 표시하는 단계는,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 화면에 함께 표시하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
  4. 제 3 항에 있어서,
    상기 표시하는 단계는,
    복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트시키는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
  5. 제 1 항에 있어서,
    상기 표시하는 단계는,
    최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 지연 시간 경과 후인지 확인하는 단계;
    지연 시간 경과 후인 경우, 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하는 단계; 및
    지연 시간 내인 경우, 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
  6. 제 1 항에 있어서,
    상기 표시하는 단계는,
    지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하는 단계; 및
    계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 단계;를 포함하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
  7. 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법으로서,
    디폴트 지연 시간을 기억하는 단계;
    로봇 제어를 위한 제 1 제어 명령을 입력받는 단계;
    상기 디폴트 지연 시간을 상기 제 1 제어 명령에 대한 영상 수신의 지연 시간으로 결정하는 단계;
    로봇 제어를 위한 제 2 제어 명령을 입력받는 단계;
    상기 제 2 제어 명령의 입력 시점이 상기 디폴트 지연 시간 내인지 확인하는 단계; 및
    지연 시간 내인 경우, 상기 제 2 제어 명령의 입력 시간과 상기 제 1 제어 명령의 입력 시간의 차를 상기 제 2 제어 명령의 지연 시간으로 결정하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
  8. 하나 이상의 프로세서;
    디스플레이 장치;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치로서,
    상기 프로그램은,
    로봇 제어를 위한 제어 명령을 입력받아 상기 로봇으로 전송하는 제어 명령 전송 모듈; 및
    상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 상기 디스플레이 장치에 표시하는 지연 시간 표시 모듈;을 포함하는 제어 장치.
  9. 제 8 항에 있어서,
    상기 지연 시간 표시 모듈은,
    지연 시간을 카운트다운(countdown) 하여 표시하는 것을 특징으로 하는 제어 장치.
  10. 제 9 항에 있어서,
    상기 제어 명령 전송 모듈은, 순차적으로 복수의 제어 명령을 입력받고,
    상기 지연 시간 표시 모듈은,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 상기 디스플레이 장치에 함께 표시하는 것을 특징으로 하는 제어 장치.
  11. 제 10 항에 있어서,
    상기 지연 시간 표시 모듈은,
    복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트시키는 것을 특징으로 하는 제어 장치.
  12. 제 8 항에 있어서,
    상기 지연 시간 표시 모듈은,
    최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 확인하여, 지연 시간 경과 후인 경우 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하고, 지연 시간 내인 경우 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 것을 특징으로 하는 제어 장치.
  13. 제 8 항에 있어서,
    상기 지연 시간 표시 모듈은,
    지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 것을 특징으로 하는 제어 장치.
PCT/KR2013/006150 2013-02-18 2013-07-10 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치 WO2014126303A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130016922A KR101448278B1 (ko) 2013-02-18 2013-02-18 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치
KR10-2013-0016922 2013-02-18

Publications (1)

Publication Number Publication Date
WO2014126303A1 true WO2014126303A1 (ko) 2014-08-21

Family

ID=51354289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006150 WO2014126303A1 (ko) 2013-02-18 2013-07-10 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치

Country Status (2)

Country Link
KR (1) KR101448278B1 (ko)
WO (1) WO2014126303A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131427A1 (en) * 2016-01-28 2017-08-03 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101703064B1 (ko) 2014-12-30 2017-02-06 국방과학연구소 원격 로봇 협조 제어 장치 및 방법
KR101975553B1 (ko) 2015-01-30 2019-05-07 전자부품연구원 로봇의 관측 시점 제어 장치
KR102055422B1 (ko) 2017-06-08 2019-12-13 국방과학연구소 무인차량의 원격통제장치를 이용한 원격통제장치 운용방법
KR20200106122A (ko) 2019-02-28 2020-09-11 주식회사 인포웍스 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법
WO2020262712A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디스플레이 방법 및 이를 구현하는 이동 로봇

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000066931A (ko) * 1999-04-22 2000-11-15 윤덕용 인터넷을 이용한 원격 이동 로봇의 인터넷 직접 제어 시스템 및그 방법
JP2000358240A (ja) * 1999-06-16 2000-12-26 Nippon Telegr & Teleph Corp <Ntt> 監視カメラ制御装置
JP2005161498A (ja) * 2003-12-05 2005-06-23 National Institute Of Advanced Industrial & Technology ロボット遠隔操作制御装置
KR20110042277A (ko) * 2011-04-12 2011-04-26 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
KR20110070508A (ko) * 2009-12-18 2011-06-24 한국생산기술연구원 그래픽 기반 로봇 프로그래밍 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000066931A (ko) * 1999-04-22 2000-11-15 윤덕용 인터넷을 이용한 원격 이동 로봇의 인터넷 직접 제어 시스템 및그 방법
JP2000358240A (ja) * 1999-06-16 2000-12-26 Nippon Telegr & Teleph Corp <Ntt> 監視カメラ制御装置
JP2005161498A (ja) * 2003-12-05 2005-06-23 National Institute Of Advanced Industrial & Technology ロボット遠隔操作制御装置
KR20110070508A (ko) * 2009-12-18 2011-06-24 한국생산기술연구원 그래픽 기반 로봇 프로그래밍 시스템
KR20110042277A (ko) * 2011-04-12 2011-04-26 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131427A1 (en) * 2016-01-28 2017-08-03 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
CN108604096A (zh) * 2016-01-28 2018-09-28 三星电子株式会社 显示图像的方法及其电子设备
US10217443B2 (en) 2016-01-28 2019-02-26 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
US10410608B2 (en) 2016-01-28 2019-09-10 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
CN108604096B (zh) * 2016-01-28 2021-11-05 三星电子株式会社 显示图像的方法及其电子设备

Also Published As

Publication number Publication date
KR20140103494A (ko) 2014-08-27
KR101448278B1 (ko) 2014-10-07

Similar Documents

Publication Publication Date Title
WO2014126303A1 (ko) 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치
RU2637470C2 (ru) Способ и устройство для обнаружения интеллектуального устройства
US11792886B2 (en) Method for accessing network by network node, and electronic equipment
EP3002974A1 (en) Communication system and communication method, communication apparatus and control method for the same, program, and storage medium
WO2015016579A1 (en) Method for deciding location of target device and electronic device thereof
KR101713305B1 (ko) 스마트 기기의 라우터 액세스 방법, 장치, 시스템, 프로그램 및 기록매체
WO2017159977A1 (en) Method and apparatus to trigger mobile payment based on distance
RU2676023C1 (ru) Способ обработки данных, устройство для обработки данных, терминал и интеллектуальное устройство
EP3706093A1 (en) Data transmission method, apparatus, and unmanned aerial vehicle
EP3138306A1 (en) Electronic device and method for providing emergency video call service
US20160148476A1 (en) Monitoring system
JP7374131B2 (ja) セル管理方法、端末及びネットワーク側装置
WO2018000641A1 (zh) eSIM的切换方法、切换装置及终端
WO2013069981A1 (en) Communication system and operating method using home gateway
WO2016006735A1 (ko) 전자 장치 및 전자 장치에서의 근거리 통신망의 액세스 포인트 탐색 방법
US20210152661A1 (en) Function invoking method and device, and computer-readable storage medium
WO2019135543A1 (ko) 전자장치 및 그 제어방법
US20180343379A1 (en) Surveillance camera system
US10187498B2 (en) Method and apparatus for setting waiting time duration
KR100662280B1 (ko) 회전감지 표시기능이 구비된 화상 이동통신 단말기 및 그회전감지 표시 처리방법
US20160323542A1 (en) User terminal device and method for providing interaction service therefor
WO2018026072A1 (en) Method, device and system for communication using plurality of wireless communication schemes
JP3153595B2 (ja) 遠方監視システム
WO2019183763A1 (zh) 信息记录方法和信息记录装置
CN115001899B (zh) 一种网络共享方法、网络共享装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13874874

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A SENT 08.12.15)

122 Ep: pct application non-entry in european phase

Ref document number: 13874874

Country of ref document: EP

Kind code of ref document: A1