KR101240418B1 - Robot teaching system using real-time and non-contact type motion imitation system and method thereof - Google Patents

Robot teaching system using real-time and non-contact type motion imitation system and method thereof Download PDF

Info

Publication number
KR101240418B1
KR101240418B1 KR1020120025093A KR20120025093A KR101240418B1 KR 101240418 B1 KR101240418 B1 KR 101240418B1 KR 1020120025093 A KR1020120025093 A KR 1020120025093A KR 20120025093 A KR20120025093 A KR 20120025093A KR 101240418 B1 KR101240418 B1 KR 101240418B1
Authority
KR
South Korea
Prior art keywords
image
robot
motion
teacher
management computer
Prior art date
Application number
KR1020120025093A
Other languages
Korean (ko)
Inventor
고덕현
Original Assignee
(주)유인프라웨이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유인프라웨이 filed Critical (주)유인프라웨이
Priority to KR1020120025093A priority Critical patent/KR101240418B1/en
Application granted granted Critical
Publication of KR101240418B1 publication Critical patent/KR101240418B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40264—Human like, type robot arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

PURPOSE: A robot teaching device using real time contactless echopraxia system and a method are provided to control immediate operation of the robot and to implement movement of the robot by generating a movement controlling data of the robot. CONSTITUTION: A robot teaching device comprises a 3D image sensing sensor(100), a management computer(200), and a mobile communications terminal(400). The 3D image sensing sensor obtains a 3D movement detection image and a color photographic image of a teaching person on a real time basis. The management computer generates osseous structure of the teaching person from the 3D movement detection image which is received from the 3D image sensing sensor. The management computer extracts images of specific joint part of the teaching person body from the osseous structure and calculates movement coordinate of the specific joint part. The management computer generates a movement controlling data of the robot based on the movement coordinate which is calculated and stores the movement. The mobile communications terminal control movement of the robot by communicating to the management computer. [Reference numerals] (100) 3D image sensing sensor; (210) 3D sensing image processing unit; (220) Joint coordinate calculating unit; (230) Motion control data generating unit; (240) Face recognizing unit; (250) Communication module unit; (260) Control unit

Description

실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법{Robot Teaching system using real-time and non-contact type motion imitation system and method thereof}Robot Teaching system using real-time and non-contact type motion imitation system and method

본 발명은 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법에 관한 것이다. 더 상세하게는 로봇의 동작을 교습시키고 제어하는 시스템 및 방법에 있어서, 로봇의 동작 교습을 교습자의 동작을 로봇이 따라 하도록 하여 그 결과 데이터를 저장하고, 사용자의 지시에 따라서 로봇이 교습된 동작을 재현할 수 있도록 하기 위한 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법에 관한 것이다. The present invention relates to a robot teaching apparatus and method using a real-time contactless motion simulation system. More specifically, in the system and method for teaching and controlling the operation of the robot, the operation of the robot is to follow the operation of the instructor so that the robot stores the result data, and according to the user's instructions The present invention relates to a robot teaching apparatus and method using a real-time contactless motion imitation system for reproducibility.

로봇을 학습시키는 방법이 다양하게 개발되어 있고, 또한 학습된 로봇을 학습된 대로 제어하는 방법이 역시 다양하게 개발되어 오고 있다. 로봇의 동작 수행 방법으로 미리 설정된 동작을 제어하는 프로그램을 로봇에 장착하여 설정된 프로그램대로 로봇이 동작을 하도록 하는 1세대 로봇 제어 방법 이후, 로봇이 교습자의 행동을 학습하여 기억하고 재현 명령에 따라서 그 학습된 동작을 재현하는 2세대 로봇 제어 방법이 개발되어 있다. 상기 로봇의 동작 교습 방법으로, 교습자의 신체의 각 부위에 센서를 부착하고 교습자의 움직임을 컴퓨터가 계산하여 로봇의 동작제어데이터를 생성하고, 이를 저장시켜 로봇이 상기 저장된 로봇제어데이터에 의해 동작을 하도록 하는 방법과, 영상정보를 획득할 수 있는 센서를 이용하여 교습자의 동작을 영상으로 획득하여 색상 정보를 이용하여 교습자의 신체 특정 부위를 감지하여 이를 기초로 동작제어데이터를 생성시켜, 로봇을 상기 생성된 동작제어데이터에 따라 동작을 하도록 하는 방법이 있다.Various methods of learning the robot have been developed, and various methods of controlling the learned robot as learned have been developed. After the first generation robot control method in which the robot is equipped with a program that controls a predetermined motion as a method of performing the motion of the robot, and the robot operates according to the set program, the robot learns and memorizes the behavior of the instructor and learns it according to the reproduction instruction. A second generation robot control method has been developed to reproduce the normalized motion. In the motion teaching method of the robot, a sensor is attached to each part of the body of the teacher, and the computer calculates the movement of the teacher to generate motion control data of the robot, and stores it so that the robot can operate the motion by the stored robot control data. By using a sensor capable of acquiring the image information and a sensor capable of acquiring the image information, the learner's motion is acquired as an image, and the robot's motion is generated by detecting a specific part of the teacher's body using the color information and generating motion control data based thereon. There is a method to operate according to the generated motion control data.

그러나 상기 부착센서 또는 영상의 색상정보를 이용하여 로봇의 동작제어데이터를 생성하는 방법은 교습자의 신체에 일일이 센서를 부착하여야 하는 문제점과, 영상의 색상정보를 획득하고 그 움직임을 추론하여 로봇의 동작제어데이터를 생성함으로써 교습자의 동작과 로봇의 동작이 일치하지 않고, 그 과정이 번거로운 문제점이 있다.However, the method of generating the motion control data of the robot by using the attached sensor or the color information of the image has a problem in that the sensor must be attached to the body of the instructor, and acquires the color information of the image and infers the motion to operate the robot. By generating control data, there is a problem that the operation of the instructor does not coincide with the operation of the robot and the process is cumbersome.

따라서, 교습자의 3D 감지영상과 촬영영상을 동시에 획득할 수 있는 센서를 이용하여 교습자의 특정 부위의 뼈 영상의 움직임을 계산하여 로봇의 즉시적인 동작을 제어하고 또한 로봇의 동작제어데이터를 생성하여 이를 이용해 원격에서 로봇의 동작을 재현시킬 수 있는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법에 관한 발명이 요망된다. Therefore, by using the sensor that can acquire the 3D sensing image and the captured image of the teacher at the same time, the movement of the bone image of the specific part of the teacher is calculated to control the immediate operation of the robot and also generate the motion control data of the robot. SUMMARY OF THE INVENTION There is a need for an apparatus and method for teaching a robot using a real-time, contactless motion imitation system that can remotely reproduce robot motion.

본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 교습자의 3D동작감지영상과 촬영영상을 동시에 획득할 수 있는 센서를 이용하여 교습자의 특정 부위의 뼈 영상의 움직임을 계산하여 로봇의 즉시적인 동작을 제어하고 또한 로봇의 동작제어데이터를 생성하여 이를 이용해 원격에서 로봇의 동작을 재현시킬 수 있는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법을 제공하는데 있다.The present invention is to solve the problems of the prior art, an object of the present invention is to calculate the movement of the bone image of the specific portion of the teacher using a sensor that can acquire the 3D motion detection image and the image taken by the teacher at the same time The present invention provides a robot teaching apparatus and method using a real-time non-contact motion mimicking system that can control the immediate operation of a robot and also generate the motion control data of the robot and reproduce the motion of the robot remotely.

상기 본 발명의 목적을 달성하기 위한 기술적 해결 수단으로서, 본 발명의 제1 관점으로, 교습자의 3D동작감지영상 및 칼라촬영영상을 획득하기 위한 3D영상감지센서와, 상기 3D영상감지센서로부터 수신된 3D동작감지영상에서 교습자 신체의 특정부위 관절 움직임의 좌표를 계산하고, 이를 기초로 로봇의 동작제어데이터를 생성하고 이를 저장하기 위한 관리컴퓨터와; 상기 관리컴퓨터에서 생성된 동작제어데이터를 수신하여 로봇의 동작을 제어하기 위한 로봇제어부와; 인터넷 또는 이동통신망 등의 통신수단으로 상기 관리컴퓨터에 접속하여 상기 로봇의 동작을 제어하기 위한 사용자단말기를 포함하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치가 제시된다.As a technical solution for achieving the object of the present invention, in a first aspect of the present invention, a 3D image sensor and a 3D image sensor for obtaining a 3D motion detection image and color image of the teacher and received from the 3D image detection sensor A management computer for calculating coordinates of joint movements of a specific part of a teacher's body in a 3D motion detection image and generating and storing motion control data of the robot based on the coordinates; A robot control unit for controlling the operation of the robot by receiving the motion control data generated by the management computer; A robot teaching apparatus using a real time contactless motion imitation system including a user terminal for controlling the operation of the robot by accessing the management computer through a communication means such as the Internet or a mobile communication network is provided.

또한, 본 발명의 제2 관점으로, 교습자의 3D동작감지영상 및 칼라촬영영상을 획득하기 위한 3D영상감지센서와; 상기 3D영상감지센서로부터 상기 3D동작감지영상을 수신하여 상기 3D동작감지영상에서 교습자의 특정 관절 위치를 획득하여 실시간으로 저장시키기 위한 3D감지영상처리부와, 상기 3D감지영상처리부에 저장되는 교습자의 특정 관절 위치의 좌표를 계산하기 위한 관절좌표계산부와, 상기 관절좌표계산부의 계산 결과를 기초로 동작제어데이터를 생성하기 위한 동작제어데이터생성부와, 상기 3D영상감지센서에서 촬영된 교습자의 칼라촬영영상에서 교습자의 얼굴영상을 기초로 얼굴을 인식하여 저장하기 위한 얼굴인식부와, 외부 기기와 통신연결을 위한 통신모듈부와, 각각 구성요소의 구동을 제어하기 위한 제어부 및 상기 동작제어데이터생성부에서 생성된 동작제어데이터 및 상기 얼굴인식부에서 생성된 인식데이터를 저장하기 위한 데이터베이스부를 포함하는 관리컴퓨터와; 상기 관리컴퓨터의 통신모듈부와 접속되어 상기 동작제어데이터를 수신하고 이를 기초로 로봇의 동작을 제어하기 위한 로봇제어부와; 상기 관리컴퓨터의 상기 통신모듈과 접속하고 상기 관리컴퓨터의 데이터베이스부에 저장되어 있는 동작제어데이터를 상기 로봇제어부에 송신하여 로봇의 동작을 원격에서 제어하기 위한 사용자단말기가 구비하고 있는 원격로봇제어수단을 포함하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치가 제시된다.In addition, according to a second aspect of the present invention, there is provided a 3D image sensing sensor for acquiring a 3D motion sensing image and a color photographed image of a teacher; A 3D sensing image processor for receiving the 3D motion sensing image from the 3D image sensing sensor, obtaining a specific joint position of the teacher from the 3D motion sensing image, and storing the joint in real time; A joint coordinate calculation unit for calculating the coordinates of the joint position, a motion control data generation unit for generating motion control data based on the calculation result of the joint coordinate calculation unit, and a color photographed image of a teacher photographed by the 3D image sensor. A face recognition unit for recognizing and storing a face based on the face image of the instructor, a communication module unit for communication connection with an external device, a controller for controlling driving of components, and the motion control data generator Database for storing the generated motion control data and the recognition data generated by the face recognition unit Management computer and that includes; A robot control unit connected to a communication module of the management computer to receive the operation control data and to control the operation of the robot based on the operation control data; A remote robot control means provided with a user terminal for remotely controlling the operation of the robot by connecting to the communication module of the management computer and transmitting operation control data stored in a database part of the management computer to the robot control unit; A robot teaching apparatus using a real time contactless motion simulation system is provided.

또한, 본 발명의 제3 관점으로, 상기 제1 관점 및 제2 관점의 본 발명에서 상기 3D영상감지센서는 교습자에 적외선을 투사하기 위한 적외선투광부와, 상기 적외선투광부로부터 투사된 적외선이 교습자에게서 반사되어 오는 것을 수신하기 위한 적외선수광부와, 상기 교습자의 영상을 촬영하기 위한 칼라영상촬영부와, 상기 적외선수광부로 수신된 적외선신호를 기초로 거리를 계산하여 3D동작감지영상을 생성하고 상기 칼라영상촬영부에서 촬영된 칼라촬영영상신호를 영상데이터로 변환하기 위한 제어부와 상기 3D동작감지영상 및 상기 영상데이터를 실시간으로 일시 저장하기 위한 메모리부를 포함하는 것을 특징으로 하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치가 제시된다.Further, in the third aspect of the present invention, in the present invention of the first and second aspects, the 3D image sensor includes an infrared light transmitting portion for projecting infrared rays to a teacher and an infrared light projecting from the infrared light transmitting portion. Infrared light receiving unit for receiving what is reflected from the image, a color image recording unit for capturing the image of the teacher, calculates the distance based on the infrared signal received by the infrared light receiving unit to generate a 3D motion detection image and the color Using a real-time contactless motion imitation system characterized in that it comprises a control unit for converting the color photographing video signal captured by the image pickup unit to the image data and a memory unit for temporarily storing the 3D motion detection image and the image data in real time A robot teaching device is presented.

또한, 본 발명의 제4 관점으로, 상기 제1 관점 및 제2 관점의 본 발명에서, 상기 3D감지영상처리부는 상기 3D영상감지센서로부터 전송된 3D동작감지영상을 수신하기 위한 3D동작감지영상수신부와, 상기 수신된 3D동작감지영상에 교습자의 뼈구조를 생성시키기 위한 스켈리컬처리부와, 상기 스켈리컬처리부에서 생성된 교습자의 뼈구조영상에서 설정된 부위의 관절영상을 분리하기 위한 요소분리부와, 상기 요소분리부에서 분리된 관절영상의 위치데이터를 실시간으로 저장하기 위한 관절위치저장부를 포함하는 것을 특징으로 하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치가 제시된다.Further, in a fourth aspect of the present invention, in the present invention of the first and second aspects, the 3D motion image processing unit 3D motion detection image receiving unit for receiving a 3D motion detection image transmitted from the 3D image detection sensor And, Skeletal processing unit for generating the bone structure of the teacher in the received 3D motion detection image, Element separation unit for separating the joint image of the part set in the bone structure image of the teacher generated by the skeletal processing unit And, a robot teaching apparatus using a real-time non-contact motion imitation system comprising a joint position storage unit for storing the position data of the joint image separated by the element separating unit in real time.

또한, 본 발명의 제5 관점으로, 3D영상감지센서에서 교습자에게 적외선을 투사하고 교습자의 칼라영상을 촬영하는 단계와; 상기 3D영상감지센서에서 상기 교습자로부터 반사되는 적외선을 수신하는 단계와; 상기 3D영상감지센서에서 수신된 상기 적외선을 기초로 상기 교습자 신체의 각 부위의 거리를 계산하여 교습자의 3D동작감지영상을 생성하는 단계와; 상기 3D영상감지센서에서 상기 생성된 3D동작감지영상과 칼라촬영영상을 관리컴퓨터로 전송하는 단계와; 상기 관리컴퓨터에서 수신된 상기 칼라촬영영상을 저장하고 상기 3D동작감지영상에 교습자의 뼈구조영상을 생성시키는 스켈리컬처리단계와; 관리컴퓨터에서 상기 3D동작감지영상의 뼈구조영상에서 설정된 특정 부위의 관절영상을 분리하는 단계와; 상기 관리컴퓨터에서 상기 분리된 관절영상의 움직임 위치를 실시간으로 저장하는 단계와; 관리컴퓨터에서 실시간으로 저장되는 상기 관절의 위치정보를 기초로 상기 관절영상의 움직임 좌표를 계산하는 단계와; 상기 관리컴퓨터에서 상기 관절영상의 실시간 움직임 좌표계산을 기초로 동작데이터를 생성하여 저장하는 단계와; 상기 관리컴퓨터에서 생성된 동작데이터를 로봇의 로봇제어부로 전송하는 단계와; 상기 로봇제어부에서 상기 수신된 동작데이터를 기초로 상기 로봇의 해당 관절의 구동수단을 제어하는 단계를 포함하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 방법 이 제시된다. In addition, the fifth aspect of the invention, the step of projecting the infrared ray to the teacher in the 3D image sensor and taking the color image of the teacher; Receiving infrared rays reflected from the teacher in the 3D image sensor; Generating a 3D motion detection image of a teacher by calculating a distance of each part of the body of the teacher based on the infrared rays received from the 3D image sensor; Transmitting the 3D motion detection image and the color photographing image generated by the 3D image detection sensor to a management computer; A skeletal processing step of storing the color photographed image received from the management computer and generating a bone structure image of a teacher in the 3D motion sensing image; Separating a joint image of a specific region set from the bone structure image of the 3D motion detection image in a management computer; Storing the position of movement of the separated joint image in real time in the management computer; Calculating motion coordinates of the joint image based on the position information of the joint stored in real time in a management computer; Generating and storing motion data based on real-time motion coordinate calculation of the joint image in the management computer; Transmitting the operation data generated by the management computer to the robot control unit of the robot; A robot teaching method using a real-time contactless motion imitation system including controlling the driving means of a corresponding joint of the robot based on the received motion data in the robot controller is provided.

또한, 본 발명의 제6 관점으로, 사용자단말기에서 통신망을 이용해 관리컴퓨터에 접속하는 단계와; 상기 사용자단말기에 표시되는 위치별 로봇 정보에서 적어도 하나의 특정 위치 또는 특정 그룹위치가 선택되는 단계와; 상기 선택된 특정 위치 또는 특정 그룹위치의 로봇의 동작리스트 중 하나가 선택되는 단계와; 상기 관리컴퓨터에서 상기 사용자단말기에서 선택한 특정 위치 또는 특정 그룹위치의 로봇의 동작 선택정보를 수신하는 단계와; 상기 관리컴퓨터에서 수신된 상기 로봇의 동작 정보를 기초로 데이터베이스부에서 해당 동작정보를 조회하는 단계와; 상기 관리컴퓨터에서 조회된 동작 정보에 해당하는 관절의 동작제어데이터를 해당 위치의 해당 로봇으로 전송하는 단계와; 상기 로봇의 로봇제어부에서 상기 관리컴퓨터로부터 전송된 상기 관절의 동작제어데이터를 기초로 상기 로봇의 관절 구동수단을 제어하는 단계를 포함하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치를 이용한 로봇 제어 방법 이 제시된다. In a sixth aspect of the present invention, there is provided a method of connecting a management computer using a communication network in a user terminal; Selecting at least one specific location or a specific group location from the robot information for each location displayed on the user terminal; Selecting one of the operation list of the robot of the selected specific position or specific group position; Receiving operation selection information of a robot at a specific position or a specific group position selected by the user terminal at the management computer; Querying the operation information in the database unit based on the operation information of the robot received from the management computer; Transmitting motion control data of a joint corresponding to motion information inquired by the management computer to a corresponding robot at a corresponding position; The robot control method using a robot teaching apparatus using a real-time contactless motion imitation system comprising the step of controlling the joint drive means of the robot on the basis of the motion control data of the joint transmitted from the management computer in the robot control unit of the robot Presented.

본 발명에 의하면, 로봇의 동작 교습자의 3D동작감지영상을 획득하여 상기 3D동작감지영상에 교습자의 뼈구조영상을 생성시키고, 상기 뼈구조영상에서 설정된 특정 부위의 관절영상의 움직임의 좌표를 생성하여 로봇의 동작제어데이터를 생성하여 저장하고, 상기 생성된 동작제어데이터를 상기 로봇에 전송하여 로봇이 그 동작제어데이터에 따라서 움직이도록 하는 구성에 의해, 로봇의 동작을 교습자가 원하는 대로 교습시킬 수 있고, 해당 동작제어데이터를 저장한 후 언제든 재현시킬 수 있고, 또한, 관절의 움직임을 동작제어데이터로 생성하여 로봇의 움직임을 구동시킴으로써, 부드럽고 정밀한 움직임을 구현할 수 있는 효과가 있다.According to the present invention, by obtaining a 3D motion detection image of the motion instructor of the robot to generate the bone structure image of the teacher in the 3D motion detection image, by generating the coordinates of the motion of the joint image of the specific region set in the bone structure image By generating and storing the motion control data of the robot and transmitting the generated motion control data to the robot so that the robot moves according to the motion control data, the operation of the robot can be taught as desired by the instructor. After storing the motion control data, the motion control data can be reproduced at any time. In addition, the motion of the robot is generated by generating the motion of the joint as the motion control data, thereby achieving smooth and precise motion.

도 1은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치의 실시예의 개략적인 구성도이다.
도 2는 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치의 실시예의 개략적인 블럭도이다.
도 3은 본 발명의 실시예의 주요부인 3D영상감지센서의 개략적인 구성도이다.
도 4는 본 발명의 실시예의 주요부인 관리컴퓨터의 3D감지영상처리부의 개략적인 구성도이다.
도 5는 본 발명의 주요부인 관리컴퓨터의 3D감지영상처리부에서 3D감지영상을 처리하는 과정을 설명하기 위한 이미지 흐름도이다.
도 6은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 방법의 실시예를 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치를 이용한 로봇의 동작 제어 방법의 실시예를 설명하기 위한 흐름도이다.1 is a schematic structural diagram of an embodiment of a robot teaching apparatus using a real-time contactless motion imitation system of the present invention.
2 is a schematic block diagram of an embodiment of a robotic teaching apparatus using a real-time contactless motion simulation system of the present invention.
3 is a schematic configuration diagram of a 3D image sensor, which is a main part of an embodiment of the present invention.
4 is a schematic configuration diagram of a 3D sensing image processing unit of a management computer which is a main part of an embodiment of the present invention.
5 is an image flowchart illustrating a process of processing a 3D sensing image in the 3D sensing image processing unit of a management computer which is a main part of the present invention.
6 is a flow chart for explaining an embodiment of a robot teaching method using a real-time contactless motion imitation system of the present invention.
7 is a flowchart illustrating an embodiment of a robot motion control method using a robot teaching apparatus using a real-time contactless motion simulation system of the present invention.

이하에서 본 발명의 실시예의 발명의 구성을 첨부된 도면을 참조하면서 상세히 설명하기로 한다. 도 1은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치의 실시예의 개략적인 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치는, 교습자(10)의 3D동작감지영상 및 칼라촬영영상을 획득하기 위한 3D영상감지센서(100)와, 상기 3D영상감지센서(100)로부터 수신된 3D동작감지영상에서 교습자(10) 신체의 특정부위 관절 움직임의 좌표를 계산하고 이를 기초로 로봇(310)의 동작제어데이터를 생성하고 이를 저장하기 위한 관리컴퓨터(200)와; 상기 관리컴퓨터(200)에서 생성된 동작제어데이터를 수신하여 로봇(310)의 동작을 제어하기 위한 로봇제어부(300)와; 인터넷(700) 또는 이동통신망(500) 등의 통신수단으로 상기 관리컴퓨터(200)에 접속하여 상기 로봇(310)의 동작을 제어하기 위한 사용자단말기(400, 600)를 포함하는 구성이다.Hereinafter, with reference to the accompanying drawings, the configuration of the invention of the embodiment of the present invention will be described in detail. 1 is a schematic structural diagram of an embodiment of a robot teaching apparatus using a real-time contactless motion imitation system of the present invention. As shown in FIG. 1, the robot teaching apparatus using the real-time non-contact motion imitation system of the present invention includes a 3D image sensor 100 for acquiring a 3D motion sensing image and a color photographed image of the teacher 10, and A management computer for generating and storing motion control data of the robot 310 based on the coordinates of joint movement of a specific part of the body of the trainer 10 in the 3D motion sensing image received from the 3D image sensing sensor 100. 200; A robot control unit 300 for controlling the operation of the robot 310 by receiving the operation control data generated by the management computer 200; It is a configuration that includes a user terminal 400, 600 for controlling the operation of the robot 310 by connecting to the management computer 200 by a communication means such as the Internet 700 or a mobile communication network (500).

상기 3D영상감지센서(100)는 상기 교습자(10)의 칼라영상과, 상기 교습자(10) 및 교습자(10)의 동작을 실시간으로 3D동영상으로 획득하기 위한 구성이다. 상기 관리컴퓨터(200)는 상기 3D영상감지센서(100)에서 획득한 교습자(10)의 실시간 3D동영상에 교습자의 뼈구조영상을 생성시키고, 뼈구조영상에서 특정 부위의 관절영상을 추출하여 상기 관절영상의 움직임 좌표를 계산하고, 상기 계산된 관절의 움직임 좌표를 기초로 로봇(310)의 동작제어데이터를 생성시키기 위한 구성이다. 상기 로봇제어부(300)는 상기 관리컴퓨터(200)에서 생성하여 전송된 로봇(310)의 동작제어데이터를 수신하여 상기 로봇(310)의 해당 관절의 구동수단을 제어하여 상기 교습자(10)의 동작을 그대로 따라서 하도록 하기 위한 구성이다. The 3D image detection sensor 100 is a component for acquiring a color image of the teacher 10 and the operation of the teacher 10 and the teacher 10 in 3D video in real time. The management computer 200 generates a bone structure image of a teacher in a real-time 3D video of the teacher 10 acquired by the 3D image sensor 100, extracts a joint image of a specific region from the bone structure image and the joint The motion coordinates of the image are calculated and motion control data of the robot 310 is generated based on the calculated motion coordinates of the joint. The robot controller 300 receives the operation control data of the robot 310 generated and transmitted by the management computer 200 and controls the driving means of the corresponding joint of the robot 310 to operate the trainer 10. This configuration is to follow the process as it is.

본 발명의 상기 실시예에서 교습자(10)가 동작을 취하면 실시간으로 상기 로봇(310)이 교습자(10)의 동작을 따라하게 함으로써, 교습자(10)가 원하는 동작을 로봇(310)에 제대로 흉내를 내는지 시각적으로 확인하면서, 로봇(310)의 동작을 교습하고 그 내용을 저장할 수 있는 구성이다.In the above-described embodiment of the present invention, when the instructor 10 takes an action, the robot 310 follows the operation of the instructor 10 in real time, so that the instructor 10 correctly mimics the desired action to the robot 310. While visually confirming whether or not, while teaching the operation of the robot 310 is a configuration that can store the contents.

도 2는 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치의 실시예의 개략적인 블럭도이다. 도 2에 도시한 바와 같이, 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치는, 교습자(10)의 3D동작감지영상 및 칼라촬영영상을 획득하기 위한 3D영상감지센서(100)와; 상기 3D영상감지센서(100)로부터 상기 3D동작감지영상을 수신하여 상기 3D동작감지영상에서 교습자(10)의 특정 관절 위치를 획득하여 실시간으로 저장시키기 위한 3D감지영상처리부(210)와, 상기 3D감지영상처리부(210)에 저장되는 교습자(10)의 특정 관절의 실시간 위치의 좌표를 계산하기 위한 관절좌표계산부(220)와, 상기 관절좌표계산부(220)의 계산 결과를 기초로 동작제어데이터를 생성하기 위한 동작제어데이터생성부(230)와, 상기 3D영상감지센서(100)에서 촬영된 교습자(10)의 칼라촬영영상에서 교습자(10)의 얼굴영상을 기초로 얼굴을 인식하여 저장하기 위한 얼굴인식부(240)와, 외부 기기와 통신연결을 위한 통신모듈부(250)와, 상기 각각 구성요소의 구동을 제어하기 위한 제어부(260) 및 상기 동작제어데이터생성부(230)에서 생성된 동작제어데이터 및 상기 얼굴인식부(240)에서 생성된 인식데이터를 저장하기 위한 데이터베이스부(270)를 포함하는 관리컴퓨터(200)와; 상기 관리컴퓨터(200)의 통신모듈부(250)와 접속되어 상기 동작제어데이터를 수신하고 이를 기초로 로봇의 동작을 제어하기 위한 로봇제어부(300)와; 상기 관리컴퓨터(200)의 상기 통신모듈부(250)과 접속하고 상기 관리컴퓨터(200)의 데이터베이스부(270)에 저장되어 있는 동작제어데이터를 상기 로봇제어부(300)에 송신하여 로봇의 동작을 원격에서 제어하기 위한 사용자단말기(400, 600)가 구비하고 있는 원격로봇제어수단을 포함하는 구성이다.2 is a schematic block diagram of an embodiment of a robotic teaching apparatus using a real-time contactless motion simulation system of the present invention. As shown in FIG. 2, the robot teaching apparatus using the real-time contactless motion imitation system of the present invention includes a 3D image sensing sensor 100 for acquiring a 3D motion sensing image and a color photographed image of a tutor 10; 3D sensing image processing unit 210 for receiving the 3D motion detection image from the 3D image detection sensor 100 to obtain a specific joint position of the instructor 10 in the 3D motion detection image and store it in real time, and the 3D The motion control data is calculated based on the joint coordinate calculation unit 220 and the joint coordinate calculation unit 220 for calculating the coordinates of the real-time position of the specific joint of the teacher 10 stored in the sensing image processor 210. In order to recognize and store a face based on the face image of the instructor 10 in the color control image of the operation control data generation unit 230 and the instructor 10 captured by the 3D image sensor 100 for generating. The face recognition unit 240, the communication module unit 250 for communication connection with an external device, the controller 260 for controlling the driving of each component, and the operation control data generation unit 230 are generated. Motion control data and above A management computer 200 including a database unit 270 for storing recognition data generated by the face recognition unit 240; A robot control unit 300 connected to the communication module unit 250 of the management computer 200 for receiving the operation control data and controlling the operation of the robot based on the operation control data; Connected to the communication module 250 of the management computer 200 and transmits the operation control data stored in the database unit 270 of the management computer 200 to the robot controller 300 to perform the operation of the robot. It is a configuration that includes a remote robot control means that the user terminal (400, 600) for remote control.

도 3은 본 발명의 실시예의 주요부인 3D영상감지센서의 개략적인 구성도이다. 도 3에 도시한 바와 같이, 본 발명의 3D영상감지센서(100)는, 교습자(10)에 적외선을 투사하기 위한 적외선투광부(110)와, 상기 적외선투광부(110)로부터 투사된 적외선이 상기 교습자(10)에 반사되어 오는 것을 수신하기 위한 적외선수광부(120)와, 상기 교습자(10)의 영상을 촬영하기 위한 칼라영상촬영부(130)와, 상기 적외선수광부(120)로 수신된 적외선신호를 기초로 거리를 계산하여 3D동작감지영상을 생성하고 상기 칼라영상촬영부(130)에서 촬영된 칼라촬영영상신호를 영상데이터로 변환하기 위한 제어부(140)와 상기 3D동작감지영상 및 상기 영상데이터를 일시 저장하기 위한 메모리부(150)를 포함하는 구성이다.3 is a schematic configuration diagram of a 3D image sensor, which is a main part of an embodiment of the present invention. As shown in FIG. 3, the 3D image sensor 100 of the present invention includes an infrared light emitting unit 110 for projecting infrared rays to the teacher 10, and infrared light projected from the infrared light transmitting unit 110. Infrared light receiving unit 120 for receiving what is reflected by the teacher 10, a color image taking unit 130 for capturing the image of the teacher 10, and infrared light received by the infrared light receiving unit 120 The controller 140 and the 3D motion detection image and the image for generating a 3D motion detection image by calculating the distance based on the signal and converting the color image signal captured by the color image capturing unit 130 into image data. The memory unit 150 temporarily stores data.

상기 적외선투광부(110)는 상기 3D영상감지센서(100)에서 일정 거리 떨어진 곳에서동작을 취하는 상기 교습자(10)의 신체 전체 또는 특정 부위에 해당하는 면적에 조밀한 정도로 적외선 빔을 투사한다. 상기 교습자(10)의 신체에 투사된 적외선이 반사되어 상기 적외선수광부(120)로 수광되고, 상기 제어부(140)는 상기 교습자(10)의 신체에서 반사되어 수광된 각각의 적외선 빔으로부터 거리를 계산하여 계산된 거리에 따른 형상을 생성하여 이를 3D감지영상데이터로 변환하여 상기 메모리부(150)에 실시간으로 일시 저장시킨다. 상기 제어부(140)에서 생성된 3D감지영상데이터는 상기 감지된 교습자(10)의 영상은 신체의 외곽선 뿐만 아니라 신체 각 부위가 색상을 제외한 입체(3D)적 영상으로 생성된다. 이렇게 하여 상기 3D영상감지센서(100)가 상기 교습자(10)의 동작에서 3D감지영상데이터로 획득할 수 있다. 상기 3D영상감지센서(100)는 상기 교습자(10)의 동작을 실시간으로 계속 감지 및 3D감지영상데이터로 구현시킴으로써 3D 동영상으로 구현될 수 있다.The infrared light emitting unit 110 projects an infrared beam to a density corresponding to the entire body or a specific area of the instructor 10, which operates at a predetermined distance away from the 3D image sensor 100. The infrared rays projected onto the body of the learner 10 are reflected and received by the infrared light receiving unit 120, and the controller 140 calculates a distance from each infrared beam reflected by the body of the learner 10 and received. A shape according to the calculated distance is generated and converted into 3D sensed image data and temporarily stored in the memory unit 150 in real time. The 3D sensing image data generated by the controller 140 is generated as a stereoscopic (3D) image of each part of the body as well as the outline of the body as well as each part of the body. In this way, the 3D image sensor 100 may be obtained as 3D sensing image data in the operation of the teacher 10. The 3D image sensor 100 may be implemented as a 3D video by continuing to detect the operation of the teacher 10 in real time and 3D sensing image data.

도 4는 본 발명의 실시예의 주요부인 관리컴퓨터의 3D감지영상처리부의 개략적인 구성도이다. 도 4에 도시한 바와 같이, 본 발명의 3D감지영상처리부(210)는, 상기 상기 3D영상감지센서(100)로부터 전송된 3D동작감지영상을 수신하기 위한 3D동작감지영상수신부(211)와, 상기 수신된 3D동작감지영상에 교습자(10)의 뼈구조를 생성시키기 위한 스켈리컬처리부(212)와, 상기 스켈리컬처리부(212)에서 생성된 교습자(10)의 뼈구조영상에서 설정된 부위의 관절영상을 분리하기 위한 요소분리부(213)와, 상기 요소분리부(213)에서 분리된 관절영상의 위치데이터를 실시간으로 저장하기 위한 관절위치저장부(214)를 포함하는 구성이다.4 is a schematic configuration diagram of a 3D sensing image processing unit of a management computer which is a main part of an embodiment of the present invention. As shown in FIG. 4, the 3D detection image processing unit 210 of the present invention includes a 3D motion detection image receiving unit 211 for receiving a 3D motion detection image transmitted from the 3D image detection sensor 100, Skeletal processing unit 212 for generating the bone structure of the instructor 10 in the received 3D motion detection image, and a portion set in the bone structure image of the teacher 10 generated by the skeletal processing unit 212 The element separating unit 213 for separating the joint image of the, and the joint position storage unit 214 for storing the position data of the joint image separated by the element separating unit 213 in real time.

도 5는 본 발명의 주요부인 관리컴퓨터의 3D감지영상처리부에서 3D감지영상을 처리하는 과정을 설명하기 위한 이미지 흐름도이다. 도 5에 도시한 바와 같이, 도 5(a)는 상기 3D동작감지영상수신부(211)에서 수신한 상기 3D영상감지센서(100)로부터 전송된 3D동작감지영상을 나타낸다. 도 5(b)는 상기 스켈리컬처리부(212)에서 상기 수신된 3D동작감지영상에 교습자(10)의 뼈구조를 생성시킨 영상을 나타낸다. 도 5(c)는 상기 요소분리부(213)에서 상기 스켈리컬처리부(212)에서 생성된 교습자(10)의 뼈구조영상에서 설정된 부위의 관절영상을 분리하기 위한 영상을 나타낸다.5 is an image flowchart illustrating a process of processing a 3D sensing image in the 3D sensing image processing unit of a management computer which is a main part of the present invention. As shown in FIG. 5, FIG. 5A illustrates a 3D motion detection image transmitted from the 3D image detection sensor 100 received by the 3D motion detection image receiving unit 211. FIG. 5 (b) shows an image in which the skeletal processing unit 212 generates a bone structure of the instructor 10 on the received 3D motion detection image. FIG. 5 (c) shows an image for separating the joint image of the region set in the bone structure image of the tutor 10 generated by the skeletal processing unit 212 in the element separation unit 213.

상술한 본 발명의 로봇의 동작 교습 및 제어 시스템의 실시예에서, 상기 사용자단말기(400)는 휴대폰, 스마트폰 또는 태블릿PC와 같은 이동통신단말기로 구성될 수 있다. 또한, 상기 사용자단말기(400, 600)가 구비하고 있는 원격로봇제어수단은 상기 사용자단말기(400, 600)에 출력되는 웹 또는 왑프로그램으로 구성할 수 있고, 또한 상기 사용자단말기에 설치되어 실행할 수 있는 응용프로그램으로 구성될 수 있다.In the above-described embodiment of the operation teaching and control system of the robot of the present invention, the user terminal 400 may be configured as a mobile communication terminal such as a mobile phone, a smartphone or a tablet PC. In addition, the remote robot control means provided in the user terminal (400, 600) can be configured as a web or a swap program output to the user terminal (400, 600), and can be installed and executed in the user terminal It can be configured as an application.

도 6은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 방법의 실시예를 설명하기 위한 흐름도이다. 도 6에 도시한 바와 같이, 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 방법은, 3D영상감지센서에서 교습자에게 적외선을 투사하고 교습자의 칼라영상을 촬영하는 단계(S100)와; 상기 3D영상감지센서에서 상기 교습자로부터 반사되는 적외선을 수신하는 단계(S101)와; 상기 3D영상감지센서에서 수신된 상기 적외선을 기초로 상기 교습자 신체의 각 부위의 거리를 계산하여 교습자의 3D동작감지영상을 생성하는 단계(S102)와; 상기 3D영상감지센서에서 상기 생성된 3D동작감지영상과 칼라촬영영상을 관리컴퓨터로 전송하는 단계(S103)와; 상기 관리컴퓨터에서 수신된 상기 칼라촬영영상을 저장하고 상기 3D동작감지영상에 교습자의 뼈구조영상을 생성시키는 스켈리컬처리단계(S104)와; 상기 관리컴퓨터에서 상기 3D동작감지영상의 뼈구조영상에서 설정된 특정 부위의 관절영상을 분리하는 단계(S105)와; 상기 관리컴퓨터에서 상기 분리된 관절영상의 움직임 위치를 실시간으로 저장하는 단계(S106)와; 상기 관리컴퓨터에서 실시간으로 저장되는 상기 관절의 위치정보를 기초로 상기 관절영상의 움직임 좌표를 계산하는 단계(S107)와; 상기 관리컴퓨터에서 상기 관절영상의 실시간 움직임 좌표계산을 기초로 동작데이터를 생성하여 저장하는 단계(S108)와; 상기 관리컴퓨터에서 생성된 동작데이터를 로봇의 로봇제어부로 전송하는 단계(S109)와; 상기 로봇제어부에서 상기 수신된 동작데이터를 기초로 상기 로봇의 해당 관절의 구동수단을 제어하는 단계(S110)를 포함하는 구성이다.6 is a flow chart for explaining an embodiment of a robot teaching method using a real-time contactless motion imitation system of the present invention. As shown in Figure 6, the robot teaching method using a real-time non-contact motion imitation system of the present invention, the step of projecting the infrared ray to the teacher in the 3D image sensor and taking a color image of the teacher (S100); Receiving infrared rays reflected from the teacher in the 3D image sensor (S101); Generating a 3D motion detection image of a teacher by calculating a distance of each part of the body of the teacher based on the infrared rays received from the 3D image sensor; Transmitting the 3D motion detection image and the color photographing image generated by the 3D image sensing sensor to a management computer (S103); A skeletal processing step (S104) of storing the color photographed image received from the management computer and generating a bone structure image of a teacher in the 3D motion detection image; Separating the joint image of a specific region set from the bone structure image of the 3D motion detection image by the management computer (S105); Storing (S106) the movement position of the separated joint image in real time in the management computer; Calculating movement coordinates of the joint image based on position information of the joint stored in real time in the management computer (S107); Generating and storing motion data based on a real-time motion coordinate calculation of the joint image in the management computer (S108); Transmitting operation data generated by the management computer to the robot controller of the robot (S109); And controlling the driving means of the corresponding joint of the robot based on the received motion data by the robot controller (S110).

도 7은 본 발명의 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치를 이용한 로봇의 동작 제어 방법의 실시예를 설명하기 위한 흐름도이다. 도 7에 도시한 바와 같이, 본 발명의 로봇의 동작 제어 방법은, 사용자단말기에서 통신망을 이용해 관리컴퓨터에 접속하는 단계(S200)와; 상기 사용자단말기에 표시되는 위치별 로봇 정보에서 적어도 하나의 특정 위치 또는 특정 그룹위치가 선택되는 단계(S201)와; 상기 선택된 특정 위치 또는 특정 그룹위치의 로봇의 동작리스트 중 하나가 선택되는 단계(S202)와; 상기 관리컴퓨터에서 상기 사용자단말기에서 선택한 특정 위치 또는 특정 그룹위치의 로봇의 동작 선택정보를 수신하는 단계(S203)와; 상기 관리컴퓨터에서 수신된 상기 로봇의 동작 정보를 기초로 데이터베이스부에서 해당 동작정보를 조회하는 단계(S204)와; 상기 관리컴퓨터에서 조회된 동작 정보에 해당하는 관절의 동작제어데이터를 해당 위치의 해당 로봇으로 전송하는 단계(S205)와; 상기 로봇의 로봇제어부에서 상기 관리컴퓨터로부터 전송된 상기 관절의 동작제어데이터를 기초로 상기 로봇의 관절 구동수단을 제어하는 단계(S206)를 포함하는 구성이다. 7 is a flowchart illustrating an embodiment of a robot motion control method using a robot teaching apparatus using a real-time contactless motion simulation system of the present invention. As shown in FIG. 7, the operation control method of the robot of the present invention includes the steps of connecting to a management computer using a communication network in a user terminal (S200); Selecting at least one specific location or a specific group location from the robot information for each location displayed on the user terminal (S201); Selecting one of the operation list of the robot of the selected specific position or specific group position (S202); Receiving operation selection information of a robot of a specific position or a specific group position selected by the user terminal in the management computer (S203); Querying corresponding operation information in a database unit based on the operation information of the robot received from the management computer (S204); Transmitting the motion control data of the joint corresponding to the motion information inquired by the management computer to the robot at the corresponding position (S205); And controlling the joint driving means of the robot based on the motion control data of the joint transmitted from the management computer by the robot control unit of the robot (S206).

이상에서 설명한 본 발명의 실시예는 본 발명의 다양한 실시예 중 일부에 해당한다. 본 발명의 로봇의 동작 교습자의 3D동작감지영상을 획득하여 상기 3D동작감지영상에 교습자의 뼈구조영상을 생성시키고, 상기 뼈구조영상에서 설정된 특정 부위의 관절영상의 움직임의 좌표를 생성하여 로봇의 동작제어데이터를 생성하여 저장하고, 상기 생성된 동작제어데이터를 상기 로봇에 전송하여 로봇이 그 동작제어데이터에 따라서 움직이도록 하는 구성을 포함하는 기술적 사상에 포함되는 한 다양한 실시예가 본 발명의 보호범위에 포함되는 것은 당연하다.The embodiments of the present invention described above correspond to some of the various embodiments of the present invention. Acquire the 3D motion detection image of the motion instructor of the robot of the present invention to generate the bone structure image of the teacher in the 3D motion detection image, and to generate the coordinates of the motion of the joint image of the specific region set in the bone structure image of the robot The scope of protection of the present invention is as long as the technical scope of the present invention includes a configuration for generating and storing motion control data and transmitting the generated motion control data to the robot so that the robot moves according to the motion control data. It is natural to be included in.

100 : 3D영상감지센서
200 : 관리컴퓨터
300 : 로봇제어부
310 : 로봇
400 : 이동통신단말기
500 : 이동통신망
600 : 사용자컴퓨터
700 : 인터넷망100: 3D image sensor
200: management computer
300: robot control unit
310: robot
400: mobile communication terminal
500: mobile communication network
600: user computer
700: internet network

Claims (5)

교습자의 3D동작감지영상 및 칼라촬영영상을 실시간으로 획득하기 위한 3D영상감지센서와;
상기 3D영상감지센서로부터 수신된 상기 3D동작감지영상에서 상기 교습자의 뼈구조 영상을 생성하고, 상기 뼈구조 영상에서 상기 교습자 신체의 특정 부위 관절의 영상을 추출하여 상기 특정 부위 관절의 움직임 좌표를 계산하고, 상기 계산된 움직임 좌표를 기초로 로봇의 동작제어데이터를 생성하고, 상기 생성된 동작제어데이터를 저장하는 관리컴퓨터와;
상기 관리컴퓨터에서 생성된 동작제어데이터를 수신하여 로봇의 동작을 제어하기 위한 로봇제어부와;
인터넷망 또는 이동통신망 등의 통신수단으로 상기 관리컴퓨터에 접속하여 상기 로봇의 동작을 제어하는 사용자단말기에 구비되는 로봇제어수단을 포함하되,
상기 3D영상감지센서가,
상기 교습자에 적외선 빔을 투사하는 적외선투광부와,
상기 교습자로부터 반사되는 적외선신호를 수신하는 적외선수광부와,
상기 교습자의 영상을 촬영하는 칼라영상촬영부와,
상기 적외선수광부로 수신된 적외선신호를 사용하여 상기 교습자 신체의 각 부위의 거리를 계산하고, 상기 계산된 거리에 따른 교습자 형상을 생성하고, 상기 생성된 교습자 형상을 상기 3D동작감지영상으로 변환하고, 상기 칼라영상촬영부에서 촬영된 상기 교습자의 영상으로부터 상기 칼라촬영영상을 생성하는 제어부로 구성되는 것을 특징으로 하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치.A 3D image detection sensor for acquiring a 3D motion detection image and a color photographed image of a teacher in real time;
The bone structure image of the instructor is generated from the 3D motion detection image received from the 3D image detection sensor, and the motion coordinates of the specific region joint are calculated by extracting an image of a specific region joint of the teacher's body from the bone structure image. A management computer generating motion control data of the robot based on the calculated motion coordinates and storing the generated motion control data;
A robot control unit for controlling the operation of the robot by receiving the motion control data generated by the management computer;
Robot control means provided in the user terminal for controlling the operation of the robot by connecting to the management computer by a communication means such as an internet network or a mobile communication network,
The 3D image sensor,
An infrared light transmitting unit projecting an infrared beam to the teacher;
An infrared light receiving unit for receiving an infrared signal reflected from the teacher;
And a color image taking unit for taking an image of the teacher,
Using the infrared signal received by the infrared light receiving unit calculates the distance of each part of the body of the learner, generates a teacher shape according to the calculated distance, converts the generated teacher shape into the 3D motion detection image, And a controller configured to generate the color photographed image from the image of the teacher photographed by the color image photographing unit. 삭제delete 제 1 항에 있어서,
상기 관리컴퓨터가 3D감지영상처리부를 포함하되,
상기 3D감지영상처리부가,
상기 3D영상감지센서로부터 상기 3D동작감지영상를 수신하는 3D동작감지영상수신부와,
상기 3D동작감지영상에서 상기 뼈구조 영상을 생성하는 스켈리컬처리부와,
상기 스켈리컬처리부에서 생성된 상기 뼈구조 영상에서 상기 특정 부위 관절의 영상을 분리하여 추출하는 요소분리부와,
상기 요소분리부에서 추출된 상기 영상으로부터 계산된 상기 특정 부위 관절의 움직임 좌표를 포함하는 위치데이터를 실시간으로 저장하는 관절위치저장부를 포함하는 것을 특징으로 하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치.The method of claim 1,
The management computer includes a 3D sensing image processing unit,
The 3D detection image processing unit,
3D motion detection image receiving unit for receiving the 3D motion detection image from the 3D image detection sensor,
A skeletal processor configured to generate the bone structure image from the 3D motion detection image;
An element separator for separating and extracting an image of the joint of the specific region from the bone structure image generated by the skeletal processor;
And a joint position storage unit for storing in real time the position data including the motion coordinates of the joint of the specific region calculated from the image extracted by the element separation unit. 3D영상감지센서가 교습자에게 적외선을 투사하고 상기 교습자의 영상을 촬영하는 단계와;
상기 3D영상감지센서가 상기 교습자로부터 반사되는 적외선을 수신하는 단계와;
상기 3D영상감지센서가 상기 수신된 적외선을 기초로 교습자 신체의 각 부위의 거리를 계산하여 상기 교습자의 형상을 생성하는 단계와;
상기 3D영상감지센서가 상기 생성된 교습자의 형상을 3D동작감지영상으로 변환하고, 상기 촬영된 상기 교습자의 영상으로부터 칼라촬영영상을 생성하는 단계와;
상기 3D영상감지센서가 상기 생성된 3D동작감지영상과 상기 칼라촬영영상을 관리컴퓨터로 전송하는 단계와;
상기 관리컴퓨터가 상기 3D동작감지영상에서 상기 교습자의 뼈구조 영상을 생성하는 스켈리컬처리단계와;
상기 관리컴퓨터가 상기 뼈구조 영상으로부터 상기 교습자 신체의 특정 부위 관절의 영상을 분리하여 추출하는 단계와;
상기 관리컴퓨터가 상기 추출된 특정 부위 관절의 움직임 위치를 실시간으로 저장하는 단계와;
상기 관리컴퓨터가 상기 실시간으로 저장되는 관절의 움직임 위치를 기초로 하여 상기 특정 부위 관절의 움직임 좌표를 계산하는 단계와;
상기 관리컴퓨터가 상기 계산된 움직임 좌표를 기초로 하여 로봇의 동작제어데이터를 생성하는 단계와;
상기 관리컴퓨터가 상기 생성된 동작제어데이터를 저장하고, 상기 생성된 동작제어데이터를 로봇제어부로 전송하는 단계와;
상기 로봇제어부가 상기 동작제어데이터를 수신하는 단계와;
상기 로봇제어부가 상기 수신된 동작제어데이터를 기초로 상기 로봇의 해당 관절의 구동수단을 제어하는 단계로 이루어지는 것을 특징으로 하는 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 방법. 3D image sensor for projecting the infrared ray to the teacher and taking the image of the teacher;
Receiving, by the 3D image sensor, infrared light reflected from the teacher;
Generating, by the 3D image sensor, a shape of the teacher by calculating a distance of each part of the teacher's body based on the received infrared rays;
Converting, by the 3D image sensor, the shape of the generated teacher into a 3D motion detection image, and generating a color photographed image from the image of the teacher;
Transmitting, by the 3D image sensor, the generated 3D motion detection image and the color photographed image to a management computer;
A skeletal processing step of generating, by the management computer, the bone structure image of the teacher from the 3D motion detection image;
Separating and extracting, by the management computer, an image of a joint of a specific part of the teacher's body from the bone structure image;
Storing, by the management computer, the movement position of the extracted specific region joint in real time;
Calculating, by the management computer, motion coordinates of the joint in the specific region based on the motion position of the joint stored in real time;
Generating, by the management computer, motion control data of the robot based on the calculated motion coordinates;
Storing, by the management computer, the generated motion control data and transmitting the generated motion control data to a robot controller;
Receiving, by the robot controller, the operation control data;
And a step of controlling the driving means of the corresponding joint of the robot based on the received motion control data by the robot controller. 삭제delete
KR1020120025093A 2012-03-12 2012-03-12 Robot teaching system using real-time and non-contact type motion imitation system and method thereof KR101240418B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120025093A KR101240418B1 (en) 2012-03-12 2012-03-12 Robot teaching system using real-time and non-contact type motion imitation system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120025093A KR101240418B1 (en) 2012-03-12 2012-03-12 Robot teaching system using real-time and non-contact type motion imitation system and method thereof

Publications (1)

Publication Number Publication Date
KR101240418B1 true KR101240418B1 (en) 2013-03-11

Family

ID=48181283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120025093A KR101240418B1 (en) 2012-03-12 2012-03-12 Robot teaching system using real-time and non-contact type motion imitation system and method thereof

Country Status (1)

Country Link
KR (1) KR101240418B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129301A (en) * 2017-05-26 2018-12-05 한국과학기술원 Method and apparatus for emulating behavior of robot
KR20200042265A (en) * 2018-10-15 2020-04-23 호남대학교 산학협력단 Robot control system and robot control method using the same
WO2021221373A1 (en) * 2020-04-29 2021-11-04 주식회사 매크로액트 Method, system, and non-transitory readable recording medium for replicating animal motion by robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067669A (en) * 2001-02-16 2002-08-23 산요 덴키 가부시키가이샤 Robot system and robot
KR20090113084A (en) * 2008-04-25 2009-10-29 삼성전자주식회사 Method and system for motion control in humanoid robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067669A (en) * 2001-02-16 2002-08-23 산요 덴키 가부시키가이샤 Robot system and robot
KR20090113084A (en) * 2008-04-25 2009-10-29 삼성전자주식회사 Method and system for motion control in humanoid robot

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129301A (en) * 2017-05-26 2018-12-05 한국과학기술원 Method and apparatus for emulating behavior of robot
KR102010129B1 (en) * 2017-05-26 2019-08-12 한국과학기술원 Method and apparatus for emulating behavior of robot
KR20200042265A (en) * 2018-10-15 2020-04-23 호남대학교 산학협력단 Robot control system and robot control method using the same
KR102131097B1 (en) 2018-10-15 2020-07-07 호남대학교 산학협력단 Robot control system and robot control method using the same
WO2021221373A1 (en) * 2020-04-29 2021-11-04 주식회사 매크로액트 Method, system, and non-transitory readable recording medium for replicating animal motion by robot

Similar Documents

Publication Publication Date Title
CN110139115B (en) Method and device for controlling virtual image posture based on key points and electronic equipment
US11145130B2 (en) Method for automatically capturing data from non-networked production equipment
CN104574267A (en) Guiding method and information processing apparatus
CN103578135A (en) Virtual image and real scene combined stage interaction integrating system and realizing method thereof
US20210331311A1 (en) Image generation device, robot training system, image generation method, and non-transitory computer readable storage medium
US20140359437A1 (en) Method, device, and system for providing sensory information and sense
US20220005284A1 (en) Method for automatically capturing data from non-networked production equipment
CN203630822U (en) Virtual image and real scene combined stage interaction integrating system
KR20190119212A (en) System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method
KR101240418B1 (en) Robot teaching system using real-time and non-contact type motion imitation system and method thereof
CN111399634B (en) Method and device for recognizing gesture-guided object
JP2012226645A (en) Image processing apparatus, image processing method, recording medium, and program
CN109784156A (en) A kind of full Intelligent unattended business hall safety monitoring system based on artificial intelligence
KR20130134986A (en) Slam system and method for mobile robots with environment picture input from user
JP2020123105A (en) Learning device, learning method, learning program, and object recognition device
KR101964192B1 (en) Smart table apparatus for simulation
CN113010009A (en) Object sharing method and device
CN116661592A (en) Virtual-real interaction remote experiment system and method
KR102039164B1 (en) Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method
CN116506731A (en) Method and device for shooting focus, storage medium and electronic equipment
KR101050107B1 (en) Video controller
CN112017247A (en) Method for realizing unmanned vehicle vision by using KINECT
JP2021056922A (en) Human movement support system and method thereof
KR102184397B1 (en) Apparatus for controlling risk situation of robot work using artificial neural network, method thereof and computer recordable medium storing program to perform the method
Lu et al. Audi-exchange: AI-guided hand-based actions to assist human-human interactions for the blind and the visually impaired

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee