WO2023128544A1 - 모션 트래킹 로봇의 원격 제어 방법 - Google Patents

모션 트래킹 로봇의 원격 제어 방법 Download PDF

Info

Publication number
WO2023128544A1
WO2023128544A1 PCT/KR2022/021367 KR2022021367W WO2023128544A1 WO 2023128544 A1 WO2023128544 A1 WO 2023128544A1 KR 2022021367 W KR2022021367 W KR 2022021367W WO 2023128544 A1 WO2023128544 A1 WO 2023128544A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
robot
user
tracker
remote control
Prior art date
Application number
PCT/KR2022/021367
Other languages
English (en)
French (fr)
Inventor
박재흥
임대규
김동현
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of WO2023128544A1 publication Critical patent/WO2023128544A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • An embodiment of the present disclosure relates to a remote control method for a motion tracking robot, and more particularly, motion tracking including wearing a motion tracker, calibrating a body structure, sensing a user's motion, retargeting a motion, and controlling a robot It relates to a method of remote control of a robot.
  • One embodiment of the present disclosure relates to a remote control system configured to perform a method for remote control of a motion tracking robot.
  • An embodiment of the present disclosure relates to a recording medium storing a remote control method of a motion tracking robot.
  • the motion retargeting process may refer to a process of changing a motion of a user into a motion of a target character or robot.
  • the motion retargeting process it is necessary to consider that the length ratio of the user's body structure and body parts is different from the length ratio of the robot's body structure and body parts.
  • the motion retargeting process is evolving in two areas, for example:
  • the first field is the field of computer animation, which focuses on creating motions of characters in animations that mimic human motions similarly or identically.
  • many technologies have been developed in which characters naturally imitate people by using machine learning and neural networks.
  • motion generation in the field of animation requires a large amount of computation and real-time motion generation is difficult, making it difficult to apply to real-time motion tracking robot control.
  • the second field is robotics, where research on the motion retargeting process is in progress.
  • a motion retargeting process in the field of robotics performs motion retargeting by using a simple form of absolute mapping or simple proportional hand motion mapping or joint position mapping. Therefore, characteristics that mimic the user's motion similarly or identically to a certain level or more, or characteristics that allow the two-armed work to be effectively performed are not considered.
  • the motion retargeting process is also based on a method that can maintain balance at the same time as the simulation of motion when a humanoid robot with a different mass distribution simulates the motion of the whole body, including the lower body, without considering the above-mentioned characteristics. research aims.
  • the present disclosure provides a method for remote control of a motion tracking robot according to an embodiment.
  • the human motion is controlled by the robot. It includes a motion retargeting process that translates into motion.
  • the remote control method of the motion tracking robot uses intuitive linear mapping, enabling precise control of the motion tracking robot and various remote operations using the motion tracking robot.
  • a method for remotely controlling a motion tracking robot may provide a method for effectively controlling excitation of a dual-armed robot when the motion-tracking robot is a dual-armed robot having multiple degrees of freedom.
  • a method for remotely controlling a motion tracking robot includes the steps of wearing a motion tracker by a user; After the step of wearing the motion tracker, a body structure calibration step in which the user moves the bodies on which the motion tracker is mounted to assume predetermined postures and obtains body structure information of the user based on the predetermined postures of the user; After the body structure calibration step, a user motion sensing step of measuring a position of the motion tracker using a sensor and acquiring motion information of the user based on the measured position of the motion tracker; a robot motion retargeting step of acquiring a target motion to be performed by a motion tracking robot based on the body structure information and the motion information after the user motion sensing step; and a robot control step of controlling the motion tracking robot so that the motion tracking robot follows the acquired target motion after the robot motion retargeting step.
  • the step of wearing the motion tracker may include a process of attaching the motion tracker to both hands of the user; attaching the motion tracker to both upper arms of the user; attaching the motion tracker to a user's head; and attaching the motion tracker to the torso of the user.
  • the predetermined postures of the user may include at least one of a standing posture, a side-by-side posture with both arms open, and a side-by-side posture.
  • the body structure calibrating step may include a process of acquiring center position information of the user's shoulder.
  • the sensor may be an external sensor separated from the motion tracker.
  • the sensor may be an internal sensor mounted inside the motion tracker.
  • the robot motion retargeting step may include a hand position mapping process of mapping a hand position.
  • the robot motion retargeting step includes an orientation mapping process, and the orientation mapping process includes: absolute orientation mapping for obtaining a target motion to be performed by a robot based on coordinate system information of the motion tracker; and relative orientation mapping for acquiring a target motion to be performed by the robot based on the rotation information of the motion tracker.
  • the absolute orientation mapping may include a target motion to be performed by the robot head corresponding to the user's head based on the coordinate system information of the motion tracker attached to the user's head; and a target motion to be performed by the robot hand corresponding to the user's hand based on the coordinate system information of the motion tracker attached to the user's hand.
  • a target motion to be performed by the torso of the robot corresponding to the torso of the user may be obtained based on rotation information of the motion tracker attached to the torso of the user.
  • the robot may be controlled to follow a target motion of the robot based on a predetermined priority for the motion of the robot.
  • the priorities for the predetermined movements of the robot may be determined in the order of a rotation direction of the robot's torso, a position and rotation direction of the robot's hands, a line of sight direction of the head, a direction of the robot's upper arm, and a direction of the robot's shoulder.
  • a remote control system for a motion tracking robot configured to perform a remote control method for a motion tracking robot according to an embodiment of the present disclosure is provided.
  • a remote control system for a motion tracking robot includes a motion tracker configured to be attachable to a user's body;
  • a recording medium storing a remote control method of a motion tracking robot according to an embodiment of the present disclosure is provided.
  • a method for remotely controlling a motion tracking robot enables precise control of the motion tracking robot and enables efficient remote work using the motion tracking robot. Accordingly, when the user remotely controls the motion tracking robot, the user's motion can be more precisely copied.
  • calculation efficiency and motion simulation accuracy can be improved in controlling excitation induction of a two-armed robot. Accordingly, the motion tracking robot can perform various motions, and the motion tracking robot can be effectively used for a desired task.
  • a user can intuitively control the motion tracking robot. Accordingly, work using the motion tracking robot can be quickly performed without requiring separate learning or mastery of robot control.
  • the convenience of wearing the manipulation device may be increased.
  • Remote control of a motion tracking robot using a control device with increased wearing comfort enables a user to perform precise control.
  • a remote control method of a motion tracking robot is based on a precise simulation of a user's motion of a motion tracking robot, so that the remote control robot can be applied to the service industry, transportation industry, manufacturing industry, entertainment business, etc., thereby increasing business efficiency can make it
  • FIG. 1 is a block diagram schematically illustrating a remote control method of a motion tracking robot according to an embodiment.
  • FIG. 2 is a diagram illustrating a user and the user's control of a motion tracking robot in the step of wearing the motion tracker of FIG. 1 .
  • FIG. 3 is a block diagram schematically showing a process in the step of calibrating the body structure of FIG. 1;
  • FIG. 4 is a block diagram schematically illustrating a process in the motion retargeting step of FIG. 1 .
  • FIG. 5 is a block diagram schematically illustrating the orientation mapping process of FIG. 4;
  • FIG. 6 is a block diagram schematically showing a process in the robot control step of FIG. 1 .
  • Embodiments of the present disclosure are illustrated for the purpose of explaining the technical idea of the present disclosure.
  • the scope of rights according to the present disclosure is not limited to the specific description of the embodiments or these embodiments presented below.
  • FIG. 1 is a block diagram schematically illustrating a remote control method of a motion tracking robot according to an embodiment.
  • the remote control method 10 of a motion tracking robot includes a motion tracker wearing step ( S100 ) in which a user wears the motion tracker 110 .
  • the user U may wear the motion tracker 110 .
  • the motion tracker 110 may be, for example, a device configured to detect a motion of the user U.
  • the user U may wear a plurality of motion trackers 110 .
  • the motion tracking robot R when the motion tracking robot R is a multi-DOF humanoid robot R, at least six motion trackers 110 may be required to control the multi-DOF humanoid robot R.
  • the motion tracker 110 may be attached to six places on the back of both hands, upper arms, torso, and head of the user U.
  • the above-mentioned motion tracker 110 attached position is only an example, and the number and attached position of the motion tracker 110 can be changed according to the degree of freedom of the motion tracking robot R and the part to be controlled. self-explanatory
  • the plurality of motion trackers 110 may be attached to a predetermined body part of the user U to detect the user U's motion.
  • the motion trackers 110 attached to both hands of the user U may detect motions of both hands of the user U.
  • the motion of both hands may be tilting or rotating of both hands.
  • the motion trackers 110 attached to both hands may detect positional information of both hands.
  • the motion tracker 110 attached to both upper arms of the user U may detect motions of both upper arms of the user U.
  • the operation of both upper arms may be inclination or rotation of both upper arms.
  • the motion tracker 110 attached to the head and torso of the user U may detect motions of the head and torso of the user U, respectively.
  • the head motion may be a head tilt or rotation
  • the torso motion may be a torso tilt or rotation.
  • the number of the plurality of motion trackers 110 may vary according to the degree of freedom of the motion tracking robot R to be controlled. When the degree of freedom of the motion tracking robot R increases, the number of motion trackers 110 to be worn by the user U may increase.
  • the motion tracker wearing step (S100) may include a process of attaching the motion tracker 110 to both hands of the user U.
  • two motion trackers 110 may be attached to both hands of the user U based on the process of attaching the motion trackers 110 to both hands of the user U.
  • both hands of the user U may be the backs of both hands of the user U.
  • the motion tracker 110 is attached to the back of the hand, the position where the motion tracker 110 is worn and the direction the motion tracker 110 faces may need to be constant.
  • the user U may wear the glove 120 on his hand and fix the motion tracker 110 to a mount formed on the glove 120 . That is, the user U may wear the motion tracker 110 on both hands of the user U using the glove 120 .
  • the step of wearing the motion tracker ( S100 ) may include a process of attaching the motion tracker 110 to both upper arms of the user U.
  • two motion trackers 110 may be attached to both upper arms of the user U based on the process of attaching the motion trackers 110 to both upper arms of the user U.
  • both upper arms of the user U may be a predetermined portion between the user U's shoulder and elbow.
  • Wearing the motion tracker may include a process of attaching the motion tracker 110 to the head of the user U.
  • the motion tracker 110 attached to the head of the user U may be replaced with a head-mounted display (HMD).
  • One motion tracker 110 may be attached to the head of the user U based on the process of attaching the motion tracker 110 to the head of the user U.
  • the motion tracker 110 of the user U may be a predetermined portion of the head of the user U, and the predetermined portion may be, for example, the back of the head.
  • the motion tracker wearing step ( S100 ) may include a process of attaching the motion tracker 110 to the torso of the user U.
  • one motion tracker 110 may be attached to the user U's torso based on the process of attaching the motion tracker 110 to the user U's torso.
  • the motion tracker 110 may be attached to the back of the torso (back) of the user U.
  • the position where the motion tracker 110 is attached may be changed based on the movement of the motion tracking robot R to be controlled. For example, to control the movement of the hand or arm of the motion tracking robot R, the motion tracker 110 needs to be attached to both hands and both upper arms. In addition, in the case of controlling the movement of the legs or feet of the motion tracking robot R, the motion trackers 110 need to be attached to both thighs and both feet.
  • the motion tracker 110 may be attached to other body parts except for both hands and head, which are necessarily attached.
  • the remote control method 10 of the motion tracking robot R includes a body structure calibration step S200 after the motion tracker wearing step S100.
  • the user takes predetermined postures by moving the bodies to which the motion tracker 110 is mounted, and the user's predetermined It may be a step of obtaining body structure information of the user based on the postures of the user.
  • the user may take predetermined postures while attaching the plurality of motion trackers 110 .
  • Information on the user's body structure may be obtained based on predetermined postures taken by the user.
  • the body structure calibration step ( S200 ) may include a correction process for measuring and correcting information about the user's body structure and distortion of a space that the user may have.
  • the correction process can be performed by taking multiple poses.
  • the posture taken by the user may be, for example, at least one of a standing posture, a side-by-side posture with both arms open, and a side-by-side posture.
  • the body structure calibration step ( S200 ) may include a shoulder center information acquisition process of obtaining shoulder center position information of the user from information acquired based on the calibration process.
  • the shoulder center information acquisition process measures the hand position in the above three postures, the standing posture, the open arms side by side posture, and the forward side by side posture, and the hand position in three postures among points at the same distance from the hand position in the three postures.
  • Shoulder center information can be obtained by estimating the point as the center of the shoulder by finding the location of the point that makes the most vertical.
  • the position of the motion tracker 110 is measured using the sensor 140, and the motion tracker 110
  • a user motion sensing step ( S300 ) of sensing motion information of the user based on the measured position is included.
  • the position of the motion tracker 110 may correspond to the position of the user's body part to which the motion tracker 110 is attached.
  • the measured position of the motion tracker 110 may refer to a measured position of the motion tracker 110 continuously measured in time series. That is, the measured position of the motion tracker 110 may refer to a position of a user's body part continuously measured in time series.
  • the sensor 140 in the user motion sensing step ( S300 ) may be an external sensor 140 separated from the motion tracker 110 .
  • the external sensor 140 may be configured to receive a signal from the motion tracker 110 .
  • the external sensor 140 may be electrically connected to the controller 130 .
  • the external sensor 140 may receive a signal from the motion tracker 110 and transmit the received signal to the controller 130 .
  • the controller 130 may obtain motion information of the user based on a signal received from the external sensor 140 .
  • the senor in the user motion sensing step ( S300 ) may be an internal sensor (not shown) mounted inside the motion tracker 110 .
  • the internal sensor may be electrically connected to the motion tracker 110.
  • the internal sensor may be configured to receive a signal from the motion tracker 110 and transmit the signal to the controller 130 in a wired or wireless manner.
  • the internal sensor may receive a signal from the motion tracker 110 and transmit the received signal to the controller 130 .
  • the controller 130 may obtain motion information of the user based on a signal received from an internal sensor.
  • Controller 130 may be implemented as an array of multiple logic gates.
  • the controller 130 may be implemented as a combination of a general-purpose microcontroller 130 and a memory in which a program that can be executed in the microcontroller 130 is stored. Also, the controller 130 may be implemented in other types of hardware.
  • the robot motion retargeting step of acquiring a target motion to be performed by the robot based on body structure information and motion information ( S400).
  • the motion retargeting step (S400) may be a step of changing a user's motion into a motion of a target character or robot.
  • the motion retargeting step (S400) considering the difference between the length ratio of the body structure and body part of the user and the length ratio of the body structure and body part of the robot, the user's motion is similar to or above a certain level. The same can be simulated. Accordingly, the user can intuitively control the motion tracking robot by using his/her body.
  • the motion retargeting step (S400) may be implemented in various ways depending on the purpose.
  • the robot motion retargeting step (S400) includes a hand position mapping process (S410) of mapping a hand position.
  • the hand position mapping process ( S410 ) may be performed based on body structure information of the user obtained based on predetermined postures of the user. That is, the hand position mapping process (S410) may be performed based on the body structure information obtained in the body structure calibration step (S200).
  • the acquired current hand position of the user may be expressed in a coordinate system, for example.
  • the hand position may be expressed as a linear combination of calibration postures. For example, linear combination coefficients obtained when calculating the linear combination may be expressed as coordinates of the current hand position.
  • the measured coordinates of the human hand position may correspond to the previously set coordinates of the hand position of the motion tracking robot.
  • the hand position mapping process (S410) maps measured human hand position coordinates based on motion information of the motion tracking robot obtained in three calibration postures corresponding to the previously set motion tracking robot to determine the target of the robot. Hand position can be calculated.
  • the robot motion retargeting step (S400) may include an orientation mapping process (S420).
  • the orientation mapping process (S420) may include an absolute orientation mapping process (S421) of obtaining a target motion to be performed by the robot based on the coordinate system information of the motion tracker 110 attached to the user.
  • the absolute orientation mapping process (S421) is a mapping method that allows the coordinate system direction of the motion tracker 110 attached to the user to coincide with the coordinate system of the target object of the motion tracking robot.
  • the absolute orientation mapping process (S421) accurately maps the user's motion to the motion tracking robot, so that the user can feel less discrepancy in the remote robot control system.
  • the absolute orientation mapping process ( S421 ) may be performed, for example, based on coordinate system information obtained from the motion tracker 110 attached to the user's head and the motion tracker 110 attached to the user's hand.
  • a target motion to be performed by the robot head corresponding to the user's head may be obtained based on the coordinate system information of the motion tracker 110 attached to the user's head.
  • a target motion to be performed by the hand of the robot corresponding to the hand of the user may be obtained based on the coordinate system information of the motion tracker 110 attached to the hand of the user.
  • the orientation mapping process (S420) may include a relative orientation mapping process (S422) for obtaining a target motion to be performed by the robot based on rotation information of the motion tracker 110 attached to the user.
  • the relative orientation mapping process (S422) is a mapping method that measures rotational displacement from the reference direction and rotates the target object of the motion tracking robot by the same displacement.
  • a mapping result may vary according to setting a reference direction.
  • the relative orientation mapping process (S422) measures the relative rotational displacement, so that the target object of the motion tracking robot can also perform relative rotation. Accordingly, mapping can be performed regardless of the mounting direction of the motion tracker 110 mounted on the user.
  • the relative orientation mapping process ( S422 ) may be performed, for example, based on rotation information obtained from the motion tracker 110 attached to the user's upper arm and the motion tracker 110 attached to the user's torso.
  • a target motion to be performed by the upper arm of the robot corresponding to the upper arm of the user may be obtained based on rotation information of the motion tracker 110 attached to the upper arm of the user.
  • a target motion to be performed by the torso of the robot corresponding to the torso of the user may be obtained based on rotation information of the motion tracker 110 attached to the torso of the user.
  • the motion tracking robot controls the motion tracking robot to follow the acquired target motion (S500) includes
  • the robot control step (S500) may be a step of controlling the robot so that the motion tracking robot follows the user's motion to identically or similarly copy the user's motion.
  • the robot control step (S500) if the degrees of freedom of the target motion are greater than the degrees of freedom of the motion tracking robot, it may be difficult for the motion tracking robot to follow the task. Therefore, priority is given to target actions. For example, in the robot control step (S500), among target motions to be followed by the motion tracking robot, priority may be given in the order of trunk motion, hand position, head motion, upper arm motion, and shoulder motion.
  • the motion tracking robot may preferentially follow the torso motion, and the motion tracking robot may perform the torso motion first.
  • the motion tracking robot may preferentially follow the motion of the hand, and the motion tracking robot may perform the motion of the hand first.
  • the motion tracking robot follows the motion of the upper arm first, and the motion tracking robot may perform the motion of the upper arm first.
  • the remote control system 20 of the motion tracking robot R is configured to perform the remote control method 10 of the motion tracking robot R according to the above-described embodiment.
  • the remote control system 20 of the motion tracking robot R may include a motion tracker 110 configured to be attachable to a user's body and a controller 130 configured to communicate with the motion tracker 110.
  • the motion tracker 110 has the same configuration and characteristics as described in the remote control method 10 of the motion tracking robot R according to an embodiment, a detailed description of the overlapping range thereof will be omitted.
  • the controller 130 of the remote control system of the motion tracking robot R may receive a signal from the motion tracker 110 .
  • the signal may include body structure information and motion information.
  • the controller 130 may receive a signal from the motion tracker 110 and calculate a target motion to be performed by the motion tracking robot R through a robot motion retargeting step.
  • the controller 130 may control the motion tracking robot R so that the motion tracking robot R follows the acquired target motion.
  • the recording medium stores the remote control method 10 of the motion tracking robot according to the above-described embodiment. That is, the remote control method 10 of a motion tracking robot according to an embodiment can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. can
  • the structure of data used in the above-described method can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, RAM, USB, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.) can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은 사용자가 모션 트래커를 착용하는, 모션 트래커 착용 단계; 상기 모션 트래커 착용 단계 이후, 사용자가 상기 모션 트래커가 장착된 신체들을 움직여 소정의 자세들을 취하고, 사용자의 상기 소정의 자세들에 기초하여 사용자의 신체 구조 정보를 획득하는, 신체 구조 캘리브레이션 단계; 상기 신체 구조 캘리브레이션 단계 이후, 상기 모션 트래커의 위치를 센서를 이용하여 측정하고, 상기 모션 트래커의 측정된 위치에 기초하여 사용자의 동작 정보를 획득하는, 사용자 동작 센싱 단계; 상기 사용자 동작 센싱 단계 이후, 상기 신체 구조 정보 및 상기 동작 정보에 기초하여 모션 트래킹 로봇이 수행할 목표 동작을 획득하는, 로봇 모션 리타게팅 단계; 및 상기 로봇 모션 리타게팅 단계 이후, 모션 트래킹 로봇이 획득된 상기 목표 동작을 추종하도록 모션 트래킹 로봇을 제어하는 로봇 제어 단계;를 포함한다.

Description

모션 트래킹 로봇의 원격 제어 방법
본 개시의 일 실시예는 모션 트래킹 로봇의 원격 제어 방법에 관한 것으로서, 보다 상세하게는 모션 트래커 착용 단계, 신체 구조 캘리브레이션 단계, 사용자 동작 센싱 단계, 모션 리타게팅 단계 및 로봇 제어 단계를 포함하는 모션 트래킹 로봇의 원격 제어 방법에 관한 것이다.
본 개시의 일 실시예는 모션 트래킹 로봇의 원격 제어 방법을 수행하도록 구성된 원격 제어 시스템에 관한 것이다.
본 개시의 일 실시예는 모션 트래킹 로봇의 원격 제어 방법이 저장된 기록 매체에 관한 것이다.
모션 트래킹 로봇(사용자의 동작을 따라하도록 구성된 로봇)에 대한 연구와 이를 활용한 작업 수행에 대한 연구가 활발하다. 모션 트래킹 로봇이 사용자의 동작을 일정 수준 이상으로 유사하게 또는 동일하게 모사할 수 있으면, 사용자는 직관적으로 자신의 신체를 이용함으로써 모션 트래킹 로봇을 제어할 수 있다. 사용자의 신체를 이용한 모션 트래킹 로봇의 제어는 동작 제어 방법에 대한 학습 및 숙달을 필요로 하지 않는다. 동작 제어 방법에 대한 학습 및 숙달의 불필요함은, 로봇에 대한 효과적인 원격 제어를 가능하게 한다. 따라서 초보자도 로봇을 활용한 작업을 효율적으로 수행할 수 있다.
근래에 로봇 제어에 사용되는 계층적 이차 계획법(Hierarchical Quadratic Programing)을 활용하여 로봇이 사람의 동작을 모사하도록 하는데, 이러한 원격 제어 방법에서의 모션 리타게팅 프로세스가 이용된다. 모션 리타게팅 프로세스는 사용자의 동작을 목표 캐릭터 혹은 로봇의 동작으로 변화하는 프로세스를 의미할 수 있다.
모션 리타게팅 프로세스에서는 사용자인 사람의 신체 구조와 신체 부위별 길이 비율과 로봇의 신체 구조와 신체 부위별 길이 비율이 상이하다는 점을 고려할 필요가 있다. 모션 리타게팅 프로세스는 예를 들어 다음과 같은 두 가지 분야에서 발전하고 있다.
첫 번째 분야는 컴퓨터 애니메이션 분야로서, 사람의 동작을 유사 또는 동일하게 따라하는 애니메이션 내의 캐릭터의 동작 생성에 초점이 맞춰져 있다. 애니메이션 동작 생성 분야에서는 머신 러닝과 뉴럴 네트워크 등을 활용하여 캐릭터가 자연스럽게 사람을 모방하는 기술이 많이 개발되었다. 그러나, 애니메이션 분야에서의 동작 생성은 계산량이 크고, 실시간 동작 생성이 어려워 실시간 모션 트래킹 로봇의 제어에는 적용하기 어렵다.
두 번째 분야는 로보틱스 분야로서, 모션 리타게팅 프로세스에 대한 연구가 진행된다. 로보틱스 분야에서의 모션 리타게팅 프로세스는 단순한 형태의 절대 매핑 혹은 단순 비례의 손 동작 매핑이나 관절 위치 매핑을 이용함으로써 모션 리타게팅을 수행한다. 따라서 사용자의 동작을 일정 수준 이상으로 유사하게 또는 동일하게 모사하는 특징이나, 양팔 작업을 효과적으로 수행할 수 있도록 하는 특징은 고려되지 못한다. 또한, 휴머노이드 로봇 분야에서 모션 리타게팅 프로세스도 상술한 특징에 대한 고려 없이, 질량 분포가 다른 휴머노이드 로봇이 하체를 포함한 전신 동작을 모사할 때, 동작에 대한 모사와 동시에 균형을 유지할 수 있는 방법을 주요 연구 목표로 한다.
모션 트래킹 로봇이 사용자의 동작을 유사 또는 동일하게 모사할 수 있도록 함과 동시에, 모션 트래킹 로봇을 이용한 작업이 효과적으로 수행될 수 있도록 하는 모션 트래킹 로봇 제어 방법에 대한 연구가 필요하다. 특히, 사용자인 사람의 신체 구조와 신체 부위별 길이 비율은 로봇의 신체 구조와 신체 부위별 길이 비율과 상이하다. 따라서, 이러한 차이점을 고려하여 사람의 동작을 로봇의 움직임으로 변환하는 모션 리타게팅 프로세스가 필요하다.
본 개시는 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법을 제공한다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 사용자인 사람의 신체 구조와 신체 부위별 길이 비율과 로봇의 신체 구조와 신체 부위별 길이 비율이 상이하다는 점을 고려하여 사람의 동작을 로봇의 움직임으로 변환하는 모션 리타게팅 프로세스를 포함한다. 모션 트래킹 로봇의 원격 제어 방법은 직관적인 선형 매핑을 사용함으로써 모션 트래킹 로봇의 정밀한 제어가 가능함과 동시에, 모션 트래킹 로봇을 활용한 다양한 원격 작업이 가능할 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 모션 트래킹 로봇이 다자유도를 갖는 양팔 로봇일 때, 양팔 로봇의 여자유도를 효과적으로 제어하는 방법을 제공할 수 있다.
상술한 과제 해결의 일 수단으로서 본 개시의 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법이 제공된다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 사용자가 모션 트래커를 착용하는, 모션 트래커 착용 단계; 상기 모션 트래커 착용 단계 이후, 사용자가 상기 모션 트래커가 장착된 신체들을 움직여 소정의 자세들을 취하고, 사용자의 상기 소정의 자세들에 기초하여 사용자의 신체 구조 정보를 획득하는, 신체 구조 캘리브레이션 단계; 상기 신체 구조 캘리브레이션 단계 이후, 상기 모션 트래커의 위치를 센서를 이용하여 측정하고, 상기 모션 트래커의 측정된 위치에 기초하여 사용자의 동작 정보를 획득하는, 사용자 동작 센싱 단계; 상기 사용자 동작 센싱 단계 이후, 상기 신체 구조 정보 및 상기 동작 정보에 기초하여 모션 트래킹 로봇이 수행할 목표 동작을 획득하는, 로봇 모션 리타게팅 단계; 및 상기 로봇 모션 리타게팅 단계 이후, 모션 트래킹 로봇이 획득된 상기 목표 동작을 추종하도록 모션 트래킹 로봇을 제어하는 로봇 제어 단계;를 포함한다.
상기 모션 트래커 착용 단계는, 사용자의 양 손에 상기 모션 트래커를 부착하는 프로세스; 사용자의 양 상박에 상기 모션 트래커를 부착하는 프로세스; 사용자의 머리에 상기 모션 트래커를 부착하는 프로세스; 및 사용자의 몸통에 모션 트래커를 부착하는 프로세스;를 포함할 수 있다.
상기 신체 구조 캘리브레이션 단계에서, 사용자의 상기 소정의 자세들은 차려 자세, 양팔 벌려 나란히 자세 및 앞으로 나란히 자세 중 적어도 하나를 포함할 수 있다.
상기 신체 구조 캘리브레이션 단계는 사용자의 어깨의 중심 위치 정보를 획득하는 프로세스를 포함할 수 있다.
상기 사용자 동작 센싱 단계에서, 상기 센서는 상기 모션 트래커와 분리된 외부 센서일 수 있다.
상기 사용자의 동작 센싱 단계에서, 상기 센서는 상기 모션 트래커의 내부에 장착된 내부 센서일 수 있다.
상기 로봇 모션 리타게팅 단계는, 손의 위치를 매핑하는 손 위치 매핑 프로세스를 포함할 수 있다.
상기 로봇 모션 리타게팅 단계는 오리엔테이션 매핑 프로세스를 포함하고, 상기 오리엔테이션 매핑 프로세스는, 상기 모션 트래커의 좌표계 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 절대 오리엔테이션 매핑; 및 상기 모션 트래커의 회전 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 상대 오리엔테이션 매핑;을 포함할 수 있다.
상기 절대 오리엔테이션 매핑은, 사용자의 머리에 부착된 상기 모션 트래커의 좌표계 정보에 기초하여 사용자의 머리에 대응되는 로봇의 머리가 수행할 목표 동작; 및 사용자의 손에 부착된 상기 모션 트래커의 좌표계 정보에 기초하여 사용자의 손에 대응되는 로봇의 손이 수행할 목표 동작;을 획득할 수 있다.
상기 상대 오리엔테이션 매핑은,
사용자의 상박에 부착된 상기 모션 트래커의 회전 정보에 기초하여 사용자의 상박에 대응되는 로봇의 상박이 수행할 목표 동작; 및
사용자의 몸통에 부착된 상기 모션 트래커의 회전 정보에 기초하여 사용자의 몸통에 대응되는 로봇의 몸통이 수행할 목표 동작;을 획득할 수 있다.
상기 로봇 제어 단계는, 기 정해진 로봇의 움직임에 대한 우선순위에 기초하여 로봇이 상기 로봇의 목표 동작을 추종하도록 로봇을 제어할 수 있다.
상기 기 정해진 로봇의 움직임에 대한 우선순위는 로봇의 몸통 회전 방향, 로봇의 손의 위치와 회전 방향과 머리의 시선 방향, 로봇의 상박 방향 및 로봇의 어깨 방향 순서로 정해질 수 있다.
과제 해결의 일 수단으로서 본 개시의 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법을 수행하도록 구성된 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 시스템이 제공된다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 시스템은 사용자의 신체에 부착 가능하도록 구성된 모션 트래커; 및
상기 모션 트래커와 통신 가능하도록 구성된 컨트롤러를 포함한다.
과제 해결의 일 수단으로서 본 개시의 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법이 저장된 기록 매체가 제공된다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 모션 트래킹 로봇의 정밀한 제어가 가능함과 동시에, 모션 트래킹 로봇을 활용한 효율적인 원격 작업이 가능하도록 할 수 있다. 이에 따라, 사용자가 모션 트래킹 로봇을 원격으로 제어할 때, 사용자의 동작을 보다 정밀하게 모사할 수 있도록 한다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 양팔 로봇의 여자유도를 제어함에 있어서 계산 효율성과 동작에 대한 모사의 정확도가 증진될 수 있다. 이에 따라, 모션 트래킹 로봇이 다양한 동작을 수행할 수 있도록 하며, 모션 트래킹 로봇을 원하는 작업에 효과적으로 활용할 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 사용자가 직관적으로 모션 트래킹 로봇을 제어할 수 있다. 이에 따라, 로봇 제어에 대한 별도의 학습이나 숙달을 필요로 하지 않고, 모션 트래킹 로봇을 활용한 작업이 신속하게 수행될 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 조작 장치의 착용 편의성이 증대될 수 있다. 착용 편의성이 증대된 조작 장치를 이용한 모션 트래킹 로봇의 원격 제어는 사용자가 정밀한 제어를 가능하게 할 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법은, 모션 트래킹 로봇의 정밀한 사용자의 동작 모사에 기초하여 원격 제어 로봇을 서비스업, 운송업, 제조업, 엔터테인먼트 사업 등에 적용할 수 있도록 하여, 사업의 효율성을 증가시킬 수 있다.
도 1은 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법을 모식적으로 나타낸 블록도이다.
도 2는 도 1의 모션 트래커 착용 단계에서의 사용자 및 사용자의 모션 트래킹 로봇 제어를 나타낸 도면이다.
도 3은 도 1의 신체 구조 캘리브레이션 단계에서의 프로세스를 모식적으로 나타낸 블록도이다.
도 4는 도 1의 모션 리타게팅 단계에서의 프로세스를 모식적으로 나타낸 블록도이다.
도 5는 도 4의 오리엔테이션 매핑 프로세스를 모식적으로 나타낸 블록도이다.
도 6은 도 1의 로봇 제어 단계에서의 프로세스를 모식적으로 나타낸 블록도이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법을 모식적으로 나타낸 블록도이다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)은, 사용자가 모션 트래커(110)를 착용하는, 모션 트래커 착용 단계(S100)를 포함한다.
도 2를 함께 참조하여 모션 트래커 착용 단계(S100)를 보다 상세히 살펴보면, 모션 트래커 착용 단계(S100)에서는 사용자(U)는 모션 트래커(110)를 착용할 수 있다. 모션 트래커(110)는 예를 들어, 사용자(U)의 동작을 감지하도록 구성된 장치일 수 있다. 사용자(U)는 복수 개의 모션 트래커(110)를 착용할 수 있다.
실시예에서, 모션 트래킹 로봇(R)이 다자유도 휴머노이드 로봇(R)일 때, 상기 다자유도 휴머노이드 로봇(R)을 제어하기 위해서는 적어도 6개의 모션 트래커(110)가 필요할 수 있다. 예를 들어, 모션 트래커(110)가 부착되는 위치는 사용자(U)의 양 손등, 양 상박, 몸통, 머리의 여섯 곳에 부착될 수 있다. 다만 상술한 모션 트래커(110)가 부착되는 위치는 예시에 불과하고 모션 트래킹 로봇(R)의 자유도와, 제어하고자 하는 부분에 따라 모션 트래커(110)의 개수 및 부착되는 위치가 변경될 수 있음은 자명하다.
복수 개의 모션 트래커(110)는 사용자(U)의 소정 신체 부위에 각각 부착되어, 사용자(U)의 동작을 감지할 수 있다. 예를 들어, 사용자(U)의 양 손에 부착된 모션 트래커(110)는 사용자(U)의 양 손의 동작을 감지할 수 있다. 예를 들어, 양 손의 동작은 양 손의 기울어짐, 회전 등일 수 있다. 또한, 양 손에 부착된 모션 트래커(110)는 양 손의 위치 정보를 감지할 수 있다.
사용자(U)의 양 상박에 부착된 모션 트래커(110)는 사용자(U)의 양 상박의 동작을 감지할 수 있다. 여기서, 양 상박의 동작은 양 상박의 기울어짐, 회전 등일 수 있다.
사용자(U)의 머리 및 몸통에 부착된 모션 트래커(110)는 사용자(U)의 머리 및 몸통의 동작을 각각 감지할 수 있다. 머리 동작은 머리의 기울어짐, 회전 등일 수 있으며, 몸통의 동작은 몸통의 기울어짐, 회전 등일 수 있다.
복수 개의 모션 트래커(110)의 개수는 제어하고자 하는 모션 트래킹 로봇(R)의 자유도에 따라 달라질 수 있다. 모션 트래킹 로봇(R)의 자유도가 증가할 때, 사용자(U)가 착용해야 할 모션 트래커(110)의 개수는 증가할 수 있다.
모션 트래커 착용 단계(S100)를 각 프로세스별로 세분하면, 모션 트래커 착용 단계(S100)는 사용자(U)의 양 손에 상기 모션 트래커(110)를 부착하는 프로세스를 포함할 수 있다. 모션 트래커 착용 단계(S100)에서 사용자(U)의 양 손에 모션 트래커(110)를 부착하는 프로세스에 기초하여 2개의 모션 트래커(110)가 사용자(U)의 양 손에 부착될 수 있다. 여기서, 사용자(U)의 양 손은 사용자(U)의 양 손등 부분일 수 있다. 손등에 모션 트래커(110)가 부착될 경우, 모션 트래커(110)가 착용되는 위치 및 모션 트래커(110)가 향하는 방향이 일정해야 할 수 있다.
사용자(U)는 손에 글러브(120)를 착용하고 글러브(120)에 형성된 마운트부에 모션 트래커(110)를 고정시킬 수 있다. 즉, 사용자(U)는 글러브(120)를 이용하여 사용자(U)의 양 손에 모션 트래커(110)를 착용할 수 있다.
모션 트래커 착용 단계(S100)는 사용자(U)의 양 상박에 모션 트래커(110)를 부착하는 프로세스를 포함할 수 있다. 모션 트래커 착용 단계(S100)에서 사용자(U)의 양 상박에 모션 트래커(110)를 부착하는 프로세스에 기초하여 2개의 모션 트래커(110)가 사용자(U)의 양 상박에 부착될 수 있다. 여기서, 사용자(U)의 양 상박은 사용자(U)의 어깨와 팔꿈치 사이의 소정 부분일 수 있다.
모션 트래커 착용 단계(S100)는 사용자(U)의 머리에 모션 트래커(110)를 부착하는 프로세스를 포함할 수 있다. 사용자(U)의 머리에 부착되는 모션 트래커(110)는 머리 착용 디스플레이(HMD)로 대체될 수도 있다. 사용자(U)의 머리에 모션 트래커(110)를 부착하는 프로세스에 기초하여 1개의 모션 트래커(110)가 사용자(U)의 머리에 부착될 수 있다. 여기서, 사용자(U)의 모션 트래커(110)는 사용자(U)의 머리 부분 소정 부분일 수 있으며, 소정 부분은 예를 들어 머리 후두부 부분일 수 있다.
모션 트래커 착용 단계(S100)는 사용자(U)의 몸통에 모션 트래커(110)를 부착하는 프로세스를 포함할 수 있다. 모션 트래커 착용 단계(S100)에서 사용자(U)의 몸통에 모션 트래커(110)를 부착하는 프로세스에 기초하여 1개의 모션 트래커(110)가 사용자(U)의 몸통에 부착될 수 있다. 모션 트래커(110)는 사용자(U)의 몸통 뒷 부분(등 부분)에 부착될 수 있다.
모션 트래커(110)가 부착되는 위치는 제어하고자 하는 모션 트래킹 로봇(R)의 움직임에 기초하여 변경될 수 있다. 예를 들어, 모션 트래킹 로봇(R)의 손 또는 팔의 움직임을 제어하고자 하는 경우, 모션 트래커(110)는 양 손 및 양 상박에 부착될 필요가 있다. 또한, 모션 트래킹 로봇(R)의 다리 또는 발의 움직임을 제어하고자 하는 경우, 모션 트래커(110)는 양 허벅지 및 양 발에 부착될 필요가 있다.
본 개시의 일 실시예에서는 모션 트래킹 로봇(R)의 팔과 손의 움직임을 제어하고자 하는 것을 대상으로 하여 설명한다. 모션 트래커(110)는 필수로 부착되어야 하는 양 손과 머리 부분을 제외하고는 다른 신체 부위에 부착될 수 있다.
일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 방법(10)은, 모션 트래커 착용 단계(S100) 이후, 신체 구조 캘리브레이션 단계(S200)를 포함한다.
도 1 및 도 3을 참조하여 신체 구조 캘리브레이션 단계(S200)를 보다 상세히 살펴보면, 신체 구조 캘리브레이션 단계(S200)는 사용자가 모션 트래커(110)가 장착된 신체들을 움직여 소정의 자세들을 취하고, 사용자의 소정의 자세들에 기초하여 사용자의 신체 구조 정보를 획득하는 단계일 수 있다.
사용자는 복수 개의 모션 트래커(110)를 부착한 채, 소정의 자세들을 취할 수 있다. 사용자가 취하는 소정의 자세들에 기초하여 사용자의 신체 구조에 대한 정보를 획득할 수 있다.
신체 구조 캘리브레이션 단계(S200)는 사용자의 신체 구조에 대한 정보 및 사용자가 가질 수 있는 공간에 대한 왜곡을 측정하고 이를 보정하기 위한 보정 프로세스를 포함할 수 있다. 보정 프로세스는 복수 개의 자세를 취함으로써 수행될 수 있다. 사용자가 취하는 자세는 예를 들어, 차려 자세, 양팔 벌려 나란히 자세 및 앞으로 나란히 자세 중 적어도 하나일 수 있다.
신체 구조 캘리브레이션 단계(S200)는 보정 프로세스에 기초하여 획득된 정보로부터 사용자의 어깨 중심 위치 정보를 획득하는, 어깨 중심 정보 획득 프로세스를 포함할 수 있다.
어깨 중심 정보 획득 프로세스는 상술한 세가지 자세, 차려 자세, 양팔 벌려 나란히 자세 및 앞으로 나란히 자세에서의 손 위치를 측정하고, 세가지 자세에서의 손 위치로부터 같은 거리에 떨어진 점들 중 세가지 자세에서의 손의 위치를 가장 수직에 가깝게 만드는 점의 위치를 찾아 그 점을 어깨 중심으로 추정함으로써 어깨 중심 정보를 획득할 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)은, 신체 구조 캘리브레이션 단계(S200) 이후, 모션 트래커(110)의 위치를 센서(140)를 이용하여 측정하고, 모션 트래커(110)의 측정된 위치에 기초하여 사용자의 동작 정보를 센싱하는, 사용자 동작 센싱 단계(S300)를 포함한다.
여기서, 모션 트래커(110)의 위치는 모션 트래커(110)가 부착된 사용자의 신체 부위의 위치와 대응될 수 있다. 한편, 모션 트래커(110)의 측정 위치는 시계열적으로 연속하여 측정된 모션 트래커(110)의 측정된 위치를 의미할 수 있다. 즉, 모션 트래커(110)의 측정된 위치는 시계열적으로 연속하여 측정된 사용자의 신체 부위의 위치를 의미할 수 있다.
도 2를 함께 참조하면, 일 예시로서, 사용자 동작 센싱 단계(S300)에서의 센서(140)는 모션 트래커(110)와 분리된 외부 센서(140)일 수 있다. 센서(140)가 모션 트래커(110)와 분리된 외부 센서(140)일 때, 외부 센서(140)는 모션 트래커(110)로부터의 신호를 수신할 수 있도록 구성될 수 있다.
외부 센서(140)는 컨트롤러(130)와 전기적으로 연결될 수 있다. 외부 센서(140)는 모션 트래커(110)로부터의 신호를 수신한 뒤, 수신한 신호를 컨트롤러(130)로 송신할 수 있다. 컨트롤러(130)는 외부 센서(140)로부터 수신한 신호에 기초하여 사용자의 동작 정보를 획득할 수 있다.
다른 예시로, 사용자 동작 센싱 단계(S300)에서의 센서는 모션 트래커(110)의 내부에 장착된 내부 센서(미도시)일 수 있다. 센서가 모션 트래커(110)와 분리된 내부 센서일 때, 내부 센서는 모션 트래커(110)와 전기적으로 연결될 수 있다.
내부 센서는 모션 트래커(110)로부터의 신호를 수신받아, 신호를 컨트롤러(130)로 유선 또는 무선 방식으로 송신할 수 있도록 구성될 수 있다. 내부 센서는 모션 트래커(110)로부터의 신호를 수신한 뒤, 수신한 신호를 컨트롤러(130)로 송신할 수 있다. 컨트롤러(130)는 내부 센서로부터 수신한 신호에 기초하여 사용자의 동작 정보를 획득할 수 있다.
컨트롤러(130)는 다수의 논리 게이트들의 어레이로 구현될 수도 있다. 컨트롤러(130)는 범용적인 마이크로 컨트롤러(130)와 마이크로 컨트롤러(130)에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 컨트롤러(130)는 다른 형태의 하드웨어로 구현될 수도 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)은, 사용자 동작 센싱 단계(S300) 이후, 신체 구조 정보 및 동작 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 로봇 모션 리타게팅 단계(S400)를 포함한다.
모션 리타게팅 단계(S400)는 사용자의 동작을 목표 캐릭터 혹은 로봇의 동작으로 변화하는 단계일 수 있다. 모션 리타게팅 단계(S400)는 사용자인 사람의 신체 구조와 신체 부위별 길이 비율과 로봇의 신체 구조와 신체 부위별 길이 비율이 상이하다는 점을 고려하여, 사용자의 동작을 일정 수준 이상으로 유사하게 또는 동일하게 모사할 수 있도록 할 수 있다. 이에 따라, 사용자는 직관적으로 자신의 신체를 이용함으로써 모션 트래킹 로봇을 제어할 수 있다. 모션 리타게팅 단계(S400)는 목적에 따라 다양한 방식으로 구현될 수 있다.
도 4 및 도 5를 참조하여, 로봇 모션 리타게팅 단계(S400)를 보다 상세히 살펴보면, 로봇 모션 리타게팅 단계(S400)는 손의 위치를 매핑하는 손 위치 매핑 프로세스(S410)를 포함한다.
손 위치 매핑 프로세스(S410)는 사용자의 소정의 자세들에 기초하여 획득된 사용자의 신체 구조 정보에 기초하여 수행될 수 있다. 즉, 손 위치 매핑 프로세스(S410)는 신체 구조 캘리브레이션 단계(S200)에서 획득된 신체 구조 정보에 기초하여 수행될 수 있다. 획득된 사용자의 현재 손 위치는 예를 들어, 좌표계 내에서 표현될 수 있다. 손 위치는 캘리브레이션 자세들의 선형 결합으로 표현될 수 있는데, 예를 들어, 선형 결합의 계산 시 획득한 선형 결합 계수들이 현재 손 위치의 좌표로 표현될 수 있다.
손 위치 매핑 프로세스(S410)는 측정된 사람의 손 위치의 좌표를 기 설정해둔 모션 트래킹 로봇의 손 위치의 좌표에 대응시킬 수 있다. 예를 들어, 손 위치 매핑 프로세스(S410)는 미리 설정해둔 모션 트래킹 로봇에 대응되는 세가지 캘리브레이션 자세에서 획득된 모션 트래킹 로봇의 동작 정보에 기초하여, 측정된 사람의 손 위치 좌표를 매핑함으로써 로봇의 목표 손 위치를 계산할 수 있다.
로봇 모션 리타게팅 단계(S400)는 오리엔테이션 매핑 프로세스(S420)를 포함할 수 있다.
오리엔테이션 매핑 프로세스(S420)는 사용자에 부착된 모션 트래커(110)의 좌표계 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 절대 오리엔테이션 매핑 프로세스(S421)을 포함할 수 있다.
절대 오리엔테이션 매핑 프로세스(S421)는 사용자에 부착된 모션 트래커(110)의 좌표계 방향과 모션 트래킹 로봇의 목표 대상의 좌표계가 일치할 수 있도록 하는 매핑 방식이다. 절대 오리엔테이션 매핑 프로세스(S421)는 사용자의 동작을 모션 트래킹 로봇에 정확히 매핑함으로써 사용자가 원격 로봇 제어 시스템에서 괴리감을 더 적게 느낄 수 있다.
절대 오리엔테이션 매핑 프로세스(S421)는 예를 들어 사용자의 머리에 부착된 모션 트래커(110)와 사용자의 손에 부착된 모션 트래커(110)로부터 획득한 좌표계 정보에 기초하여 수행될 수 있다.
절대 오리엔테이션 매핑 프로세스(S421)는 사용자의 머리에 부착된 모션 트래커(110)의 좌표계 정보에 기초하여 사용자의 머리에 대응되는 로봇의 머리가 수행할 목표 동작을 획득할 수 있다. 절대 오리엔테이션 매핑 프로세스(S421)는 사용자의 손에 부착된 모션 트래커(110)의 좌표계 정보에 기초하여 사용자의 손에 대응되는 로봇의 손이 수행할 목표 동작을 획득할 수 있다.
오리엔테이션 매핑 프로세스(S420)는 사용자에 부착된 모션 트래커(110)의 회전 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 상대 오리엔테이션 매핑 프로세스(S422)를 포함할 수 있다.
상대 오리엔테이션 매핑 프로세스(S422)는 기준 방향으로부터 회전 변위를 측정하여 모션 트래킹 로봇의 목표 대상을 같은 변위만큼 회전되도록 하는 매핑 방식이다. 상대 오리엔테이션 매핑 프로세스(S422)는 기준 방향을 설정하는 것에 따라 매핑 결과가 달라질 수 있다. 상대 오리엔테이션 매핑 프로세스(S422)는 상대적인 회전 변위를 측정하여, 모션 트래킹 로봇의 목표 대상 또한 상대적이 회전을 수행할 수 있도록 한다. 따라서, 사용자에 장착되는 모션 트래커(110)의 장착 방향과는 무관하게 매핑이 수행될 수 있다.
상대 오리엔테이션 매핑 프로세스(S422)는 예를 들어 사용자의 상박에 부착된 모션 트래커(110)와 사용자의 몸통에 부착된 모션 트래커(110)로부터 획득한 회전 정보에 기초하여 수행될 수 있다.
상대 오리엔테이션 매핑 프로세스(S422)는 예를 들어, 사용자의 상박에 부착된 모션 트래커(110)의 회전 정보에 기초하여 사용자의 상박에 대응되는 로봇의 상박이 수행할 목표 동작을 획득할 수 있다. 상대 오리엔테이션 매핑 프로세스(S422)는 예를 들어, 사용자의 몸통에 부착된 모션 트래커(110)의 회전 정보에 기초하여 사용자의 몸통에 대응되는 로봇의 몸통이 수행할 목표 동작을 획득할 수 있다.
일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)은, 로봇 모션 리타게팅 단계(S400) 이후, 모션 트래킹 로봇이 획득된 목표 동작을 추종하도록 모션 트래킹 로봇을 제어하는 로봇 제어 단계(S500)를 포함한다.
로봇 제어 단계(S500)는 모션 트래킹 로봇이 사용자의 동작을 추종하여 사용자의 동작을 동일하게 또는 유사하게 모사하도록 로봇을 제어하는 단계일 수 있다.
도 2 및 도 6을 함께 참조하면, 로봇 제어 단계(S500)에서, 목표 동작의 자유도가 모션 트래킹 로봇의 자유도보다 더 많은 경우 모션 트래킹 로봇이 작업을 추종하는 데 어려움이 있을 수 있다. 따라서, 목표 동작들에 우선 순위를 필요로 한다. 예를 들어, 로봇 제어 단계(S500)에서는 모션 트래킹 로봇이 추종할 목표 동작들 중 몸통 동작, 손의 위치, 동작과 머리의 동작, 상박 동작, 어깨 동작 순으로 우선 순위가 부여될 수 있다.
즉, 몸통 동작과 손의 동작이 충돌할 경우, 모션 트래킹 로봇이 몸통 동작을 추종하는 것이 우선적으로 고려되어, 모션 트래킹 로봇이 몸통 동작을 먼저 수행할 수 있다. 또한, 손의 동작과 상박의 동작이 충돌할 경우, 모션 트래킹 로봇이 손의 동작을 추종하는 것이 우선적으로 고려되어, 모션 트래킹 로봇이 손의 동작을 먼저 수행할 수 있다. 또한, 상박의 동작과 어깨의 동작이 충돌할 경우, 모션 트래킹 로봇이 상박의 동작을 추종하는 것이 우선적으로 고려되어, 모션 트래킹 로봇이 상박의 동작을 먼저 수행할 수 있다.
도 2를 참조하여, 일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 시스템(20)은 상술한 일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 방법(10)을 수행하도록 구성될 수 있다.
일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 시스템(20)은 사용자의 신체에 부착 가능하도록 구성된 모션 트래커(110) 및 모션 트래커(110)와 통신 가능하도록 구성된 컨트롤러(130)를 포함할 수 있다.
모션 트래커(110)는 일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 방법(10)에서 서술한 구성 및 특징과 동일한 바, 이와 중복되는 범위에서의 상세한 설명은 생략하도록 한다.
일 실시예에 따른 모션 트래킹 로봇(R)의 원격 제어 시스템의 컨트롤러(130)는 모션 트래커(110)로부터 신호를 수신할 수 있다. 여기서, 신호는 신체 구조 정보 및 동작 정보를 포함할 수 있다. 컨트롤러(130)는 모션 트래커(110)로부터 신호를 수신하여 로봇 모션 리타게팅 단계를 거쳐 모션 트래킹 로봇(R)이 수행할 목표 동작을 계산할 수 있다. 컨트롤러(130)는 모션 트래킹 로봇(R)이 획득된 목표 동작을 추종하도록 모션 트래킹 로봇(R)을 제어할 수 있다.
일 실시예에 따른 기록 매체는 상술한 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)이 저장된다. 즉, 일 실시예에 따른 모션 트래킹 로봇의 원격 제어 방법(10)은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 실시예들로서 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
<부호의 설명>
10: 모션 트래킹 로봇의 원격 제어 방법
20: 모션 트래킹 로봇의 원격 제어 시스템
110: 모션 트래커
120: 글러브
130: 컨트롤러
140: 센서
U: 사용자
R: 모션 트래킹 로봇

Claims (14)

  1. 사용자가 모션 트래커를 착용하는, 모션 트래커 착용 단계;
    상기 모션 트래커 착용 단계 이후, 사용자가 상기 모션 트래커가 장착된 신체들을 움직여 소정의 자세들을 취하고, 사용자의 상기 소정의 자세들에 기초하여 사용자의 신체 구조 정보를 획득하는, 신체 구조 캘리브레이션 단계;
    상기 신체 구조 캘리브레이션 단계 이후, 상기 모션 트래커의 위치를 센서를 이용하여 측정하고, 상기 모션 트래커의 측정된 위치에 기초하여 사용자의 동작 정보를 획득하는, 사용자 동작 센싱 단계;
    상기 사용자 동작 센싱 단계 이후, 상기 신체 구조 정보 및 상기 동작 정보에 기초하여 모션 트래킹 로봇이 수행할 목표 동작을 획득하는, 로봇 모션 리타게팅 단계; 및
    상기 로봇 모션 리타게팅 단계 이후, 모션 트래킹 로봇이 획득된 상기 목표 동작을 추종하도록 모션 트래킹 로봇을 제어하는 로봇 제어 단계;를 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  2. 제 1 항에 있어서,
    상기 모션 트래커 착용 단계는,
    사용자의 양 손에 상기 모션 트래커를 부착하는 프로세스;
    사용자의 양 상박에 상기 모션 트래커를 부착하는 프로세스;
    사용자의 머리에 상기 모션 트래커를 부착하는 프로세스; 및
    사용자의 몸통에 모션 트래커를 부착하는 프로세스;를 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  3. 제 1 항에 있어서,
    상기 신체 구조 캘리브레이션 단계에서, 사용자의 상기 소정의 자세들은 차려 자세, 양팔 벌려 나란히 자세 및 앞으로 나란히 자세 중 적어도 하나를 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  4. 제 3 항에 있어서,
    상기 신체 구조 캘리브레이션 단계는 사용자의 어깨의 중심 위치 정보를 획득하는 프로세스를 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  5. 제 1 항에 있어서,
    상기 사용자 동작 센싱 단계에서, 상기 센서는 상기 모션 트래커와 분리된 외부 센서인,
    모션 트래킹 로봇의 원격 제어 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 동작 센싱 단계에서, 상기 센서는 상기 모션 트래커의 내부에 장착된 내부 센서인,
    모션 트래킹 로봇의 원격 제어 방법.
  7. 제 1 항에 있어서,
    상기 로봇 모션 리타게팅 단계는,
    손의 위치를 매핑하는 손 위치 매핑 프로세스를 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  8. 제 1 항에 있어서,
    상기 로봇 모션 리타게팅 단계는 오리엔테이션 매핑 프로세스를 포함하고,
    상기 오리엔테이션 매핑 프로세스는,
    상기 모션 트래커의 좌표계 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 절대 오리엔테이션 매핑; 및
    상기 모션 트래커의 회전 정보에 기초하여 로봇이 수행할 목표 동작을 획득하는 상대 오리엔테이션 매핑;을 포함하는,
    모션 트래킹 로봇의 원격 제어 방법.
  9. 제 8 항에 있어서,
    상기 절대 오리엔테이션 매핑은,
    사용자의 머리에 부착된 상기 모션 트래커의 좌표계 정보에 기초하여 사용자의 머리에 대응되는 로봇의 머리가 수행할 목표 동작; 및
    사용자의 손에 부착된 상기 모션 트래커의 좌표계 정보에 기초하여 사용자의 손에 대응되는 로봇의 손이 수행할 목표 동작;을 획득하는,
    모션 트래킹 로봇의 원격 제어 방법.
  10. 제 8 항에 있어서,
    상기 상대 오리엔테이션 매핑은,
    사용자의 상박에 부착된 상기 모션 트래커의 회전 정보에 기초하여 사용자의 상박에 대응되는 로봇의 상박이 수행할 목표 동작; 및
    사용자의 몸통에 부착된 상기 모션 트래커의 회전 정보에 기초하여 사용자의 몸통에 대응되는 로봇의 몸통이 수행할 목표 동작;을 획득하는,
    모션 트래킹 로봇의 원격 제어 방법.
  11. 제 1 항에 있어서,
    상기 로봇 제어 단계는, 기 정해진 로봇의 움직임에 대한 우선순위에 기초하여 로봇이 상기 로봇의 목표 동작을 추종하도록 로봇을 제어하는,
    모션 트래킹 로봇의 원격 제어 방법.
  12. 제 11 항에 있어서,
    상기 기 정해진 로봇의 움직임에 대한 우선순위는 로봇의 몸통 회전 방향, 로봇의 손의 위치와 회전 방향과 머리의 시선 방향, 로봇의 상박 방향 및 로봇의 어깨 방향 순서로 정해지는,
    모션 트래킹 로봇의 원격 제어 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 따른 모션 트래킹 로봇의 원격 제어 방법을 수행하도록 구성된 모션 트래킹 로봇의 원격 제어 시스템으로서,
    사용자의 신체에 부착 가능하도록 구성된 모션 트래커; 및
    상기 모션 트래커와 통신 가능하도록 구성된 컨트롤러를 포함하는,
    모션 트래킹 로봇의 원격 제어 시스템.
  14. 제 1 항 내지 제 12 항 중 어느 한 항에 따른 모션 트래킹 로봇의 원격 제어 방법이 저장된, 기록 매체.
PCT/KR2022/021367 2021-12-29 2022-12-27 모션 트래킹 로봇의 원격 제어 방법 WO2023128544A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0191286 2021-12-29
KR1020210191286A KR102623672B1 (ko) 2021-12-29 2021-12-29 모션 트래킹 로봇의 원격 제어 방법

Publications (1)

Publication Number Publication Date
WO2023128544A1 true WO2023128544A1 (ko) 2023-07-06

Family

ID=86999850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021367 WO2023128544A1 (ko) 2021-12-29 2022-12-27 모션 트래킹 로봇의 원격 제어 방법

Country Status (2)

Country Link
KR (1) KR102623672B1 (ko)
WO (1) WO2023128544A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110057793A (ko) * 2009-11-25 2011-06-01 성균관대학교산학협력단 실시간 휴머노이드 제어 시스템 및 그 제어 방법
KR101343860B1 (ko) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR20160105053A (ko) * 2015-02-27 2016-09-06 주식회사 로보빌더 모션캡쳐를 이용한 원격지 로봇 제어시스템 및 제어방법
KR20160111281A (ko) * 2015-03-16 2016-09-26 주식회사 로보빌더 모션슈트를 이용한 모듈러 로봇의 무선 제어시스템
KR102268579B1 (ko) * 2020-03-10 2021-06-23 공주대학교 산학협력단 도장 작업자의 모션패턴을 이용한 도장로봇 제어 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101650764B1 (ko) * 2014-04-21 2016-08-24 한국기계연구원 작업자와 로봇 사이의 충돌 방지 시스템 및 방법
KR102342872B1 (ko) * 2020-12-15 2021-12-24 옥재윤 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110057793A (ko) * 2009-11-25 2011-06-01 성균관대학교산학협력단 실시간 휴머노이드 제어 시스템 및 그 제어 방법
KR101343860B1 (ko) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR20160105053A (ko) * 2015-02-27 2016-09-06 주식회사 로보빌더 모션캡쳐를 이용한 원격지 로봇 제어시스템 및 제어방법
KR20160111281A (ko) * 2015-03-16 2016-09-26 주식회사 로보빌더 모션슈트를 이용한 모듈러 로봇의 무선 제어시스템
KR102268579B1 (ko) * 2020-03-10 2021-06-23 공주대학교 산학협력단 도장 작업자의 모션패턴을 이용한 도장로봇 제어 장치 및 방법

Also Published As

Publication number Publication date
KR102623672B1 (ko) 2024-01-11
KR20230101299A (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
Lenz et al. Calibrating a cartesian robot with eye-on-hand configuration independent of eye-to-hand relationship
WO2019156518A1 (en) Method for tracking hand pose and electronic device thereof
WO2020122632A1 (ko) 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법
WO2017022893A1 (ko) 작업공간에서의 강성 개선을 위한 여자유도 로봇 제어 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2017217732A1 (ko) 역감 전달 시스템
WO2022035027A1 (ko) 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
WO2023128544A1 (ko) 모션 트래킹 로봇의 원격 제어 방법
CN109453505B (zh) 一种基于可穿戴设备的多关节追踪方法
WO2021096320A1 (ko) 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
WO2021177785A1 (ko) 위치 판단 방법 및 이를 지원하는 전자 장치
Conati Real-time measurement of three-dimensional multiple rigid body motion
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
CN112057083B (zh) 可穿戴人体上肢位姿采集设备及采集方法
JP2016206081A (ja) 動作推測装置および動作推測方法
JP2718678B2 (ja) 座標系合わせ方法
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
WO2020116836A1 (ko) 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법
WO2020222373A1 (ko) 실내 측위 장치 및 방법
Shenoy et al. Design and validation of an IMU based full hand kinematic measurement system
Tu et al. Configuration identification for a freeform modular self-reconfigurable robot-freesn
Kelly et al. Asymptotically stable visual servoing of manipulators via neural networks
WO2020080733A1 (ko) 가상 콘텐츠를 제어하기 위한 인터페이스 장치
Bascetta et al. Task space visual servoing of eye-in-hand flexible manipulators

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916685

Country of ref document: EP

Kind code of ref document: A1