KR101818869B1 - Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof - Google Patents

Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof Download PDF

Info

Publication number
KR101818869B1
KR101818869B1 KR1020160168535A KR20160168535A KR101818869B1 KR 101818869 B1 KR101818869 B1 KR 101818869B1 KR 1020160168535 A KR1020160168535 A KR 1020160168535A KR 20160168535 A KR20160168535 A KR 20160168535A KR 101818869 B1 KR101818869 B1 KR 101818869B1
Authority
KR
South Korea
Prior art keywords
target
unit
manipulator
joint
image
Prior art date
Application number
KR1020160168535A
Other languages
Korean (ko)
Inventor
김종환
김덕화
조상현
최재우
한국
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160168535A priority Critical patent/KR101818869B1/en
Application granted granted Critical
Publication of KR101818869B1 publication Critical patent/KR101818869B1/en

Links

Images

Classifications

    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N5/23203—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Disclosed are broadcasting image equipment using a multi-joint movement manipulator and a control method thereof. According to an embodiment of the present invention, the broadcasting image equipment includes: a robot platform; a multi-joint manipulator formed in the robot platform, and comprising a plurality of joints; a control part placed in the multi-joint manipulator to control the angle of each of the joints; a photographing part attached to an end effector of the multi-joint manipulator to photograph an image; and a communication part placed in the multi-joint manipulator and transmitting the image information, transmitted through the photographing part, to an external central operation processing device. The multi-joint manipulator is able to photograph an image through the photographing part by automatically tracking a target since the angle of each of the joints is controlled by the control part.

Description

다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법{Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof}TECHNICAL FIELD [0001] The present invention relates to a broadcast image equipment using a multi-joint movement manipulator and a control method thereof. [0002] Broadcasting Image Equipment using a Multi-Joint Movement Manipulator [

아래의 실시예들은 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법에 관한 것으로, 더욱 상세하게는, 다관절 모바일 매니퓰레이터를 이용한 자동적으로 촬영이 이루어지는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법에 관한 것이다. The following embodiments relate to broadcasting image equipment using a multi-joint movement manipulator and a control method thereof, and more particularly, to broadcasting image equipment and its control using a multi-joint movement manipulator that automatically shoots using a multi-joint mobile manipulator ≪ / RTI >

위험한 재료의 원격 제어부터 원격 수술의 지원에 이르기까지 로봇은 다양한 분야에서 사용되고 있다. Wang 등에게 발행된 미국 국제 공개특허 10-2016-0077226은 외과의가 로봇으로 제어되는 기기를 통하여 최소 침해 의료 처리를 돕는 시스템을 제공하고 있다. 상기 시스템의 로봇 팔(arm) 중 하나는 카메라를 가지고 있는 내시경을 부착하고 있어 위치를 제어한다. 내시경을 통하여 원격 수술을 시행하는 의사는 환자의 수술 부위를 원거리에서도 볼 수 있다. 이러한 용도를 위하여 인터치 테크놀로지스 인코퍼레이티드에서는 모바일 텔레프레전스 로봇이 이용된다. 인터치 로봇은 원격 수술과 같은 사용자의 의도에 따른 동작을 하기 위해서 원격 스테이션에서 사용자가 그 동작을 제어해야 한다. From remote control of dangerous materials to the support of remote operations, robots are used in a variety of fields. Wang et al., International Publication No. 10-2016-0077226, provides a system for a surgeon to assist in minimally invasive medical treatment through a robot-controlled device. One of the robotic arms of the system attaches an endoscope having a camera to control its position. A doctor who performs a remote operation through an endoscope can view the surgical site of the patient from a distance. For this purpose, mobile telepresence robots are used in Interch Technologies, Inc. In order to operate according to the intention of the user, such as remote operation, the remote robot must control its operation at the remote station.

이를 위해서는 인터치 로봇은 원격 스테이션에서 동작을 제어할 수 있는 조이스틱을 가지고 있다. 또한 인터치 로봇은 모니터와 스피커, 마이크로폰 등을 사용하여 로봇과 사용자 사이에서 양방향 통신을 가능하게 하고 있다. 하지만 여기에는 사용자가 직접 로봇의 동작을 제어해야 하는 문제점이 있다. 사용자가 로봇의 동작을 직접 제어하기 위해서는 내시경의 위치의 제어가 우선시 되어야 한다. 내시경의 제어가 일어나는 동안 카메라의 위치가 변하기 때문에 작업 대상의 위치 파악 및 작업에 필요한 작업 대상의 특징을 캡처(capture)하는 것이 어렵게 된다. To do this, the interactive robot has a joystick that can control operation at the remote station. In addition, the interactive robot enables two-way communication between the robot and the user using a monitor, a speaker, and a microphone. However, there is a problem that the user has to directly control the operation of the robot. In order for the user to directly control the operation of the robot, the position of the endoscope should be controlled first. Since the position of the camera changes during the control of the endoscope, it becomes difficult to capture the characteristics of the object of work that is necessary for the positioning and the operation of the object.

한국등록특허 10-0730386호는 이동 매니퓰레이터 작업 자동감지 비전 로봇에 관한 것으로, 이동 매니퓰레이터의 엔드 이펙터(end effector) 및 각 축에 설치된 포텐쇼 미터의 위치 정보를 전송 받아 매니퓰레이터(manipulator)의 엔드 이펙터의 작업 위치를 파악하여 자동으로 최적의 영상을 촬영할 수 있는 위치를 이 위치에서 영상을 촬영하여 전송함으로써, 작업자가 영상을 보며 매니퓰레이터 작업을 할 수 있도록 하는 비전 로봇을 제공하고 있다.Korean Patent Registration No. 10-0730386 relates to a vision robot for automatically detecting a movement manipulator operation. The robot includes an end effector of a movement manipulator and position information of a potentiometer installed on each axis, and receives an end effector of a manipulator A vision robot is provided which captures an image of a position at which an optimum image can be automatically acquired by grasping a work position and transmits the image at this position so that an operator can perform a manipulator operation while viewing an image.

하지만 상기의 로봇은 카메라를 제어하는 제어부가 다관절이 아닌 팬/틸트 장치로 구성되어 있어 카메라의 상하좌우 운동만 가능하여 카메라의 움직임이 제한된다. However, since the control unit for controlling the camera of the robot is constituted by a pan / tilt device rather than a multi-joint, movement of the camera is limited because the robot can only move up and down and left and right.

실시예들은 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법에 관하여 기술하며, 보다 구체적으로 방송 촬영을 위하여 비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술을 활용하여 다관절 모바일 매니퓰레이터를 이용한 자동적으로 촬영이 이루어지는 기술을 제공한다. Embodiments describe broadcasting image equipment and control method thereof using a multi-joint movement manipulator, and more specifically, there is provided a multi-joint mobile manipulator that uses a visual tracking technique and a visual serving technique for broadcasting, And provides a technique for automatically shooting using a manipulator.

실시예들은 이동 매니퓰레이터(manipulator)의 작업 동작에 따라 변하는 위치 정보를 계산하고, 다관절 카메라가 이동하여 최적의 영상을 찾아 전송시킬 수 있도록 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법을 제공하는데 있다. The embodiments are directed to a broadcast image apparatus and a control method thereof using a multi-joint motion manipulator for calculating position information varying according to a movement operation of a manipulator and for allowing a multi-joint camera to move and search for an optimal image .

일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 로봇 플랫폼; 상기 로봇 플랫폼에 구성되며 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator); 상기 다관절 매니퓰레이터에 배치되어 상기 복수 개의 관절의 각도를 각각 제어하는 제어부; 상기 다관절 매니퓰레이터의 엔드 이펙터(end effector)에 부착되어 영상을 촬영하는 촬영부; 및 상기 다관절 매니퓰레이터에 배치되며 상기 촬영부를 통해 획득한 영상 정보를 외부의 중앙연산처리장치로 전송하는 통신부를 포함하고, 상기 다관절 매니퓰레이터는 상기 제어부에 의해 상기 복수 개의 관절의 각도가 각각 제어됨에 따라 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영할 수 있다. The broadcasting image equipment using the articulated movement manipulator according to one embodiment includes a robot platform; A joint manipulator configured on the robot platform and having a plurality of joints formed therein; A controller disposed in the articulated manipulator for controlling angles of the plurality of joints; A photographing unit attached to an end effector of the articulated manipulator for photographing an image; And a communication unit which is disposed in the articulated manipulator and transmits image information obtained through the photographing unit to an external central processing unit, wherein the articulated manipulator controls the angles of the plurality of articulated joints by the controller, Accordingly, the target can be automatically tracked through the photographing unit to photograph the image.

여기에서, 상기 로봇 플랫폼은 복수 개의 옴니휠이 구비되어 이동이 가능한 옴니휠 형태의 모바일 로봇 플랫폼일 수 있다. Here, the robot platform may be an omni-wheel type mobile robot platform having a plurality of omni-wheels.

상기 다관절 매니퓰레이터는 상기 엔드 이펙터에 부착된 상기 촬영부를 이용하여 타겟을 촬영하기 위해 상기 제어부로부터 전달 받은 각 관절의 각도 값을 계산한 제어 신호에 따라 상기 타겟을 추적할 수 있다. The multi-joint manipulator may track the target according to a control signal that calculates an angle value of each joint received from the control unit to photograph the target using the photographing unit attached to the end effector.

상기 제어 신호는 비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술을 결합하여 상기 각 관절의 각도 값을 계산한 신호이며, 상기 제어 신호에 따라 상기 다관절 매니퓰레이터가 상기 타겟을 추적하여 상기 이펙터에 부착된 상기 촬영부를 통해 자동적으로 촬영이 이루어지도록 할 수 있다. The control signal is a signal obtained by calculating an angle value of each joint by combining a visual tracking technique and a visual servoing technique and the articulated manipulator tracks the target according to the control signal And photographing can be automatically performed through the photographing unit attached to the effector.

상기 통신부로부터 상기 촬영부를 통해 획득한 영상 정보를 전달 받고, 상기 촬영부를 이용하여 타겟을 촬영하기 위해 각 관절의 각도 값을 계산하여 상기 통신부를 통해 상기 제어부로 전달하는 중앙연산처리장치를 더 포함하여 이루어질 수 있다. Further comprising a central processing unit which receives the image information acquired through the photographing unit from the communication unit, calculates an angle value of each joint for photographing the target using the photographing unit, and transmits the angle value to the control unit through the communication unit Lt; / RTI >

상기 중앙연산처리장치는 상기 통신부로부터 상기 촬영부를 통해 획득한 영상 정보를 전달 받는 영상 수신부; 상기 영상 수신부에 전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적하는 비주얼 트래킹(Visual Tracking)부; 상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 비주얼 서보잉(Visual Servoing)부; 및 상기 비주얼 트래킹부와 상기 비주얼 서보잉부를 통해 계산된 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 제어부로 전달하는 다관절 각도 전송부를 포함할 수 있다. Wherein the central processing unit comprises: an image receiving unit for receiving image information acquired from the communicating unit through the photographing unit; A visual tracking unit for calculating a current state of the target based on the image information received by the image receiving unit and tracking the target; A visual servoing unit for calculating an angle value of each joint of the articulated manipulator so that a target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit; And a joint angle angle transmitter for communicating the angle value of each joint of the articulated manipulator calculated through the visual tracking unit and the visual servoing unit to the controller by communicating with the communication unit.

상기 비주얼 트래킹부는 상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘(페이스 트래킹(face tracking) 또는 오브젝트 트래킹(object tracking))을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. The visual tracking unit processes the RGB data acquired from the image frame of the image information to track the target using a face recognition or object recognition algorithm (face tracking or object tracking) By comparing the current frame with the previous frame to calculate the current state of the target, it is possible to track the moving target within the image.

상기 비주얼 서보잉부는 상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 상기 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. The visual surveillance unit obtains an interaction matrix based on a coordinate of a current state of the target received from the visual tracking unit and a homogeneous transformation matrix of the end effector of the articulated manipulator, The angle value of each joint of the articulated manipulator can be calculated so that the target is located at the center of the photographing unit using the relationship between the coordinates of the target of the image frame of the photographing unit.

다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템은 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받는 영상 수신부; 상기 영상 수신부에 전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적하는 비주얼 트래킹(Visual Tracking)부; 상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 비주얼 서보잉(Visual Servoing)부; 및 상기 비주얼 트래킹부와 상기 비주얼 서보잉부를 통해 계산된 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달하는 다관절 각도 전송부를 포함하여 이루어질 수 있다. A broadcast image equipment system using a multi-joint movement manipulator according to another embodiment includes a video receiver configured to receive image information acquired through a photographing unit from a communication unit configured in a multi-joint manipulator configured in a robot platform to form a plurality of joints; A visual tracking unit for calculating a current state of the target based on the image information received by the image receiving unit and tracking the target; A visual servoing unit for calculating an angle value of each joint of the articulated manipulator so that a target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit; And an angular value of each joint of the articulated manipulator calculated through the visual tracking unit and the visual servoing unit is communicated to the communication unit and transmitted to a controller for controlling the articulated manipulator having the plurality of articulated joints, And a transmission unit.

여기에서, 상기 비주얼 트래킹부는 상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. Here, the visual tracking unit processes the RGB data obtained from the image frame of the image information, tracks the target using the face recognition or object recognition algorithm, compares the current frame with the previous frame in the image frame, To track moving targets in the image.

상기 비주얼 서보잉부는 상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. The visual surveillance unit obtains an interaction matrix based on the coordinates of the current state of the target received from the visual tracking unit and a homogeneous transformation matrix of the end effector of the articulated manipulator to calculate the interaction matrix of the end effector, An angle value of each joint of the articulated manipulator can be calculated so that the target is located at the center of the photographing unit using the relationship between the coordinates of the target of the negative image frame.

또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법은 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받는 단계; 전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 비주얼 트래킹(Visual Tracking)을 통해 타겟을 추적하는 단계; 상기 비주얼 트래킹으로 획득한 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 비주얼 서보잉(Visual Servoing)을 통해 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 단계; 및 계산된 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달하는 단계를 포함할 수 있다. A method of controlling a broadcasting image equipment using a multi-joint movement manipulator according to another embodiment of the present invention comprises the steps of receiving image information acquired through a photographing unit from a communication unit constituted by a multi-joint manipulator in which a plurality of joints are formed, ; Calculating a current state of the target based on the received image information and tracking the target through visual tracking; Calculating angle values of each joint of the articulated manipulator through visual servoing so that the target is positioned at the center of the photographing unit using the current state of the target acquired by the visual tracking; And communicating the calculated angle value of each joint of the articulated manipulator with the communication unit to the controller for controlling the articulated manipulator having the plurality of joints formed therein.

여기에서, 상기 비주얼 트래킹(Visual Tracking)을 통해 타겟을 추적하는 단계는, 상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. The tracking of the target through the visual tracking may include tracking the target using the face recognition or object recognition algorithm by processing RGB data obtained from the image frame of the image information, By comparing the current frame with the previous frame to calculate the current state of the target, it is possible to track the moving target within the image.

상기 비주얼 서보잉(Visual Servoing)을 통해 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 단계는, 상기 비주얼 트래킹을 통해 획득한 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. The step of calculating the angle value of each joint of the articulated manipulator through the visual servoing may include calculating a coordinate of a current state of the target obtained through the visual tracking and a coordinate transformation of the end effector of the articulated manipulator And the target is positioned at the center of the photographing unit by using the relationship between the motion of the end effector and the coordinates of the target of the image frame of the photographing unit, Angle values can be calculated.

또한, 상기 제어부에 전달된 상기 다관절 매니퓰레이터의 각 관절의 각도 값에 따라 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하는 단계를 더 포함할 수 있다. The method may further include automatically tracking a target through the photographing unit according to an angle value of each joint of the articulated manipulator transmitted to the controller, and photographing the image.

실시예들에 따르면 이동 매니퓰레이터(manipulator)의 작업 동작에 따라 변하는 위치 정보를 계산하고, 다관절 카메라가 이동하여 최적의 영상을 찾아 전송시킬 수 있도록 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법을 제공할 수 있다.According to the embodiments, the broadcasting image equipment and its control using the multi-joint movement manipulator that calculates the positional information varying according to the operation of the manipulator and allows the multi-joint camera to search for and transmit the optimal image Method can be provided.

실시예들에 따르면 다관절 이동 매니퓰레이터에 카메라를 부착하여 타겟을 자동으로 추적하여 촬영하는 방식이기 때문에 방송 영상 장비의 자동화를 기대할 수 있다. According to the embodiments, since the camera is attached to the multi-joint movement manipulator and the target is automatically tracked and photographed, automation of the broadcasting video equipment can be expected.

또한, 실시예들에 따르면 카메라의 중앙에 타겟이 올 때까지 매니퓰레이터가 궤적을 최적화하여 움직이기 때문에 부드러운 영상을 얻을 수 있으며, 이에 따라 작업의 효율의 향상뿐만 아니라 영상의 품질을 높이는 효과도 기대할 수 있다. In addition, according to the embodiments, since the manipulator moves and optimizes the trajectory until the target comes to the center of the camera, a smooth image can be obtained, thereby enhancing the efficiency of the work and enhancing the quality of the image have.

도 1은 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비를 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비를 설명하기 위한 도면이다.
도 3은 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템을 설명하기 위한 도면이다.
도 4는 또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법을 나타내는 흐름도이다. FIG. 1 is a view schematically showing a broadcasting image equipment using a multi-joint movement manipulator according to an embodiment.
FIG. 2 is a diagram for explaining a broadcasting image equipment using a joint movement manipulator according to an embodiment.
FIG. 3 is a view for explaining a broadcast image equipment system using a multi-joint movement manipulator according to another embodiment.
4 is a flowchart illustrating a method of controlling a broadcasting image equipment using a multi-joint movement manipulator according to another embodiment.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the embodiments described may be modified in various other forms, and the scope of the present invention is not limited by the embodiments described below. In addition, various embodiments are provided to more fully describe the present invention to those skilled in the art. The shape and size of elements in the drawings may be exaggerated for clarity.

아래의 실시예들은 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법에 관한 것으로, 더 구체적으로 이동 매니퓰레이터(manipulator)의 작업 동작에 따라 변하는 위치 정보를 계산하고, 다관절 카메라가 이동하여 최적의 영상을 찾아 전송시킬 수 있도록 하는 것을 특징으로 하는 이동 매니퓰레이터 작업 자동 감지 지능형 비전 로봇에 관한 것이다.More specifically, the present invention relates to a broadcast image apparatus and a control method thereof using a multi-joint movement manipulator, more specifically, calculates positional information varying according to a movement operation of a manipulator, So that an image can be detected and transmitted to an intelligent vision robot.

현재, 영상 처리 기술과 로봇 제어 기술의 발달로, 다양한 산업분야에서 스마트 자동화 기술의 적용이 활성화되고 있다. 그 중 하나가 방송 장비 분야이다. 기존의 사람이 직접 카메라를 들고 촬영하는 방식에는 많은 제약이 있다. 사람이 쉽게 걸어 들어갈 수 없는 환경에서나 촬영 대상인 타겟이 예상치 못하게 움직이는 상황에서는 흔들리지 않는 좋은 품질의 영상을 촬영하기에 어려움이 있다. Currently, the application of smart automation technology in various industrial fields is being activated due to the development of image processing technology and robot control technology. One of them is broadcasting equipment. There are many limitations to the way in which an existing person shoots directly with the camera. In situations where people can not easily walk through or where the target, which is the subject of the shot, moves unexpectedly, it is difficult to shoot a good quality image that does not shake.

드론 및 모바일 로봇 등에 카메라를 탑재하여 플랫폼을 조작하여 촬영하는 방식이 현재 많이 사용되고 있지만, 특정 타겟을 따라 세밀한 조작을 하는 것이 어렵기 때문에 전체 화면(full shot) 촬영에만 주로 사용되고 있다.Drones, mobile robots, and the like. However, since it is difficult to perform detailed operations according to a specific target, it is mainly used for full-screen shooting.

이와 같이 사람이 직접 카메라를 조작하는 기술에 대한 제약을 해결하기 위해 자동으로 촬영 대상인 타겟을 감지하고 따라가며 타겟을 촬영할 수 있는 최적의 포지션으로 매니퓰레이터를 자동으로 움직이는 지능형 비전 로봇을 제공할 수 있다.In order to solve the limitation of the technique of manually operating the camera, it is possible to provide an intelligent vision robot that automatically moves the manipulator to an optimal position where the target can be photographed while sensing the target to be photographed.

아래의 실시예들은 종래 인터치 로봇에서 제공하는 원격 수술을 위한 로봇과 같이 카메라가 설치된 로봇 팔을 사용한 방송용 장비를 제공하는 기술을 요지로 한다. The embodiments described below provide a technique for providing broadcasting equipment using a robot arm equipped with a camera such as a robot for remote surgery provided by a conventional infrared robot.

실시예들에 따르면 설치된 카메라로부터 제공되는 영상에 기반하여 페이스 트래킹(face tracking), 오브젝트 트래킹(object tracking)과 같은 기술을 사용해 최적의 영상의 촬영을 위한 위치를 검출하고, 로봇 자체적으로 다관절 제어 각도 값을 계산할 수 있는 비주얼 서보잉(visual servoing) 기술을 사용하여 최적의 장소로 카메라를 이동시킴으로써, 사용자가 직접 로봇 팔을 제어하지 않아도 스스로 움직임을 제어할 수 있는 지능형 비전 로봇을 제공할 수 있다.According to the embodiments, a position for photographing an optimal image is detected using a technique such as face tracking and object tracking based on an image provided from a camera installed, It is possible to provide an intelligent vision robot capable of controlling the motion itself without controlling the robot arm directly by moving the camera to the optimum place by using visual servoing technology capable of calculating the angle value .

또한, 팬/틸트 장치를 사용하였을 때 제자리에서 상하좌우로 제한되어 있던 카메라의 위치를 방송용 촬영을 위해 카메라 제어에 다관절 로봇 팔을 사용하여 카메라의 상하좌우 운동은 물론, 카메라 자체의 위치의 변화 또한 자유롭게 할 수 있다. 이러한 개선을 통하여 카메라의 가동 범위를 폭 넓게 함으로써 보다 생동감 있는 촬영을 제공할 수 있다.
In addition, when the pan / tilt device is used, the position of the camera, which is limited from the top to the bottom to the left to the right, is used to control the camera for the broadcast photographing using the articulated robot arm. You can also do it freely. Through these improvements, it is possible to provide a more dynamic photographing by broadening the range of operation of the camera.

도 1은 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비를 개략적으로 나타내는 도면이다. FIG. 1 is a view schematically showing a broadcasting image equipment using a multi-joint movement manipulator according to an embodiment.

도 1을 참조하면, 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 옴니휠 형태의 모바일 로봇 플랫폼(110)에 다관절 매니퓰레이터(120)가 구성되며, 그 엔드 이펙터(end effector)에는 촬영을 위한 카메라(130)가 부착된다.Referring to FIG. 1, a broadcasting image equipment using a multi-joint movement manipulator according to an embodiment includes a multi-joint manipulator 120 in an omni-wheel type mobile robot platform 110, and an end effector A camera 130 for photographing is attached.

다관절 매니퓰레이터(120)의 엔드 이펙터(end effector)에 부착된 통신 보드(140)를 통하여 영상 및 음향 정보가 중앙연산처리장치(160)로 전송이 된다.The image and sound information is transmitted to the central processing unit 160 through the communication board 140 attached to the end effector of the articulated manipulator 120. [

여기에서, 중앙연산처리장치(160)의 내부 구조도는 아래에서 더 구체적으로 설명하기로 한다. 중앙연산처리장치(160)에서는 엔드 이펙터(end effector)에서 얻어진 영상 및 음향 정보를 기반으로 특정 타겟(물체, 촬영 대상)을 추적하는 비주얼 트래킹(Visual Tracking) 기술과 움직이는 특정 타겟을 촬영 카메라(130)로 따라가기 위해 다관절 매니퓰레이터(120)를 자동으로 제어하고 조작하는 비주얼 서보잉(Visual Servoing) 기술을 적용할 수 있다. Here, the internal structure of the central processing unit 160 will be described in more detail below. In the central processing unit 160, a visual tracking technique for tracking a specific target (an object, an object to be photographed) based on image and sound information obtained from an end effector, A visual servoing technique for automatically controlling and manipulating the articulated manipulator 120 can be applied.

비주얼 서보잉(Visual Servoing) 기술로부터 얻어진 다관절 로봇의 각도 값은 로봇에 내장된 제어 보드(150)로 전송되어 다관절 매니퓰레이터(120)를 제어할 수 있다.The angular value of the articulated robot obtained from the visual servoing technique can be transmitted to the control board 150 built in the robot to control the articulated manipulator 120.

이러한 전체적인 시스템을 통하여 사용자가 일일이 조작하지 않아도 타겟을 지속적으로 촬영할 수 있는 기능을 구현할 수 있다. 이에 따라 더욱더 다양한 환경에서 높은 품질의 영상을 안정적으로 촬영할 수 있다.Through this whole system, it is possible to implement a function that allows the user to continuously capture the target without manipulating the user. As a result, high quality images can be stably photographed in a wider variety of environments.

일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 모바일 매니퓰레이터(manipulator)에 카메라를 부착한 형태의 로봇 시스템이다. 이러한 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 팬틸트 형태가 아닌 다관절 형태의 모바일 매니퓰레이터 로봇으로서, 타겟을 추적하고 추적된 타겟을 촬영하기 위한 각 관절의 각도 값을 계산하여 촬영이 이루어진다. The broadcasting image equipment using the multi-joint movement manipulator according to one embodiment is a robot system in which a camera is attached to a mobile manipulator. The broadcast image equipment using the multi-joint movement manipulator according to this embodiment is a multi-joint type mobile manipulator robot that is not a pan tilt type. It is used to track the target and calculate the angle value of each joint to photograph the tracked target. .

한편, 종래의 방법론에서는 다관절 형태가 아닌 단순 팬틸트 형태로써, 타겟을 촬영하기 위한 각도 계산이 단순하였다. On the other hand, in the conventional methodology, the angle calculation for capturing a target was simple as a simple pan tilt type rather than a multi-joint type.

일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 단순한 팬틸트 형태가 아닌 다관절 형태의 모바일 매니퓰레이터 로봇으로서, 타겟을 자동으로 추적하고 추적된 타겟을 촬영하기 위한 각 관절의 각도 값을 계산하여 촬영이 이루어진다. 또한, 기존의 방법론들은 수동적인 방법으로 제어가 이루어지는 반면, 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 자동적으로 계산된 각도 값을 활용한다는 점이 장점이다.The broadcast image equipment using the multi-joint movement manipulator according to an embodiment is a multi-joint type mobile manipulator robot that is not a simple pan tilt type but automatically tracks a target and calculates an angle value of each joint to photograph a tracked target And the photographing is performed. Also, while the conventional methodologies are controlled by a passive method, the broadcasting image equipment using the multi-joint movement manipulator according to an embodiment utilizes the automatically calculated angle value.

특히, 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 방송 촬영을 위하여 비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술을 활용하여, 다관절 모바일 매니퓰레이터를 이용한 자동적으로 촬영이 이루어질 수 있다.
Particularly, the broadcast image equipment using the multi-joint movement manipulator according to an embodiment utilizes a visual tracking technique and a visual servoing technique for broadcast photographing, and automatically performs shooting using a multi-joint mobile manipulator Can be achieved.

도 2는 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비를 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining a broadcasting image equipment using a joint movement manipulator according to an embodiment.

도 2를 참조하면, 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비(200)는 로봇 플랫폼(210), 다관절 매니퓰레이터(manipulator)(220), 제어부(230), 촬영부(240), 및 통신부(250)를 포함하여 이루어질 수 있다. 또한, 실시예에 따라 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비(200)는 중앙연산처리장치(260)를 더 포함하여 이루어질 수 있다. 2, the broadcasting image equipment 200 using the articulated movement manipulator according to an embodiment includes a robot platform 210, a multi-joint manipulator 220, a controller 230, a photographing unit 240, And a communication unit 250, as shown in FIG. In addition, according to the embodiment, the broadcasting video equipment 200 using the multi-joint movement manipulator may further include a central processing unit 260.

로봇 플랫폼(210)은 복수 개의 옴니휠이 구비되어 이동이 가능한 옴니휠 형태의 모바일 로봇 플랫폼일 수 있다. The robot platform 210 may be an omni-wheel type mobile robot platform having a plurality of omni-wheels.

다관절 매니퓰레이터(manipulator)(220)는 상기의 로봇 플랫폼에 구성되며 복수 개의 관절이 형성될 수 있다. The multi-joint manipulator 220 is configured on the robot platform and a plurality of joints may be formed.

이러한 복수 개의 관절은 적어도 1축 이상의 자유도를 갖는 모터를 이용하여 구성될 수 있다. 이와 같이, 다관절 매니퓰레이터(220)는 1축 이상의 자유도를 갖는 모터를 이용하여 복수 개의 관절이 형성될 수 있으며, 이동이 가능한 로봇 플랫폼 측에서 촬영부(240)가 부착되는 부분까지 복수 개의 관절에 의해 각각 각도가 조절됨으로써 상하좌우 방향은 물론, 촬영부(240) 자체의 위치의 변화 또한 자유롭게 할 수 있다. 이에 따라 촬영부(240)의 가동 범위를 폭 넓게 함으로써 보다 생동감 있는 촬영을 제공할 수 있다.The plurality of joints may be configured using a motor having a degree of freedom of at least one axis. As described above, the articulated manipulator 220 can be formed with a plurality of joints using a motor having a degree of freedom of more than one axis. The articulated manipulator 220 includes a plurality of joints The position of the photographing unit 240 itself can be freely changed as well as the vertical and horizontal directions. Accordingly, by widening the movable range of the photographing unit 240, it is possible to provide more dynamic photographing.

예컨대, 다관절 매니퓰레이터(220)는 3개의 관절이 형성될 수 있으며, 이동이 가능한 로봇 플랫폼 측에서 촬영부(240)가 부착되는 부분까지 순차적으로 3축 자유도 모터, 1축 자유도 모터, 및 3축 자유도 모터를 통해 구성될 수 있다. For example, the articulated manipulator 220 may be formed with three joints, and may be a three-axis DOF motor, a one-axis DOF motor, and a three-axis DOF motor sequentially from a movable robot platform to a portion where the photographing unit 240 is attached. Can be configured via a three-axis degree-of-freedom motor.

이러한 다관절 매니퓰레이터(220)는 엔드 이펙터에 부착된 촬영부(240)를 이용하여 타겟을 촬영하기 위해 제어부(230)로부터 전달 받은 각 관절의 각도 값을 계산한 제어 신호에 따라 타겟을 추적할 수 있다. The multi-joint manipulator 220 can track a target according to a control signal that calculates an angle value of each joint received from the control unit 230 to photograph the target using the photographing unit 240 attached to the end effector have.

제어부(230)는 다관절 매니퓰레이터(220)에 배치되어 복수 개의 관절의 각도를 각각 제어할 수 있다. The controller 230 may be disposed in the articulated manipulator 220 to control angles of a plurality of joints.

제어부(230)는 다관절 매니퓰레이터(220)의 각 관절의 각도 값을 계산한 제어 신호를 통해 각 관절의 각도를 조절할 수 있다. 여기에서, 제어 신호는 비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술을 결합하여 각 관절의 각도 값을 계산한 신호이며, 제어 신호에 따라 다관절 매니퓰레이터(220)가 타겟을 추적하여 이펙터에 부착된 촬영부(240)를 통해 자동적으로 촬영이 이루어지도록 할 수 있다. The control unit 230 may adjust the angle of each joint through a control signal that calculates an angle value of each joint of the articulated manipulator 220. Here, the control signal is a signal obtained by calculating angle values of respective joints by combining a visual tracking technique and a visual servoing technique. In accordance with the control signal, the joint manipulator 220 traces the target So that photographing can be automatically performed through the photographing unit 240 attached to the effector.

촬영부(240)는 다관절 매니퓰레이터(220)의 엔드 이펙터(end effector)에 부착되어 영상을 촬영할 수 있다. 예컨대, 촬영부(240)는 카메라 등이 사용되어 영상 및 음성 정보를 획득할 수 있다. 그리고 촬영부(240)는 다관절 다관절 매니퓰레이터(220)의 복수 개의 관절에 의해 각각 각도가 조절됨으로써 상하좌우 방향은 물론, 촬영부(240) 자체의 위치의 변화 또한 자유롭게 할 수 있다.The photographing unit 240 may be attached to an end effector of the articulated manipulator 220 to photograph an image. For example, the photographing unit 240 may use a camera or the like to acquire image and audio information. The angle of the photographing unit 240 is adjusted by the plurality of joints of the articulated joint manipulator 220 so that the position of the photographing unit 240 can be freely changed as well as the vertical and horizontal directions.

이에 따라, 다관절 매니퓰레이터(220)는 제어부(230)에 의해 복수 개의 관절의 각도가 각각 제어됨에 따라 촬영부(240)를 통해 자동적으로 타겟을 추적하여 영상을 촬영할 수 있다. Accordingly, the multi-joint manipulator 220 can automatically shoot the target through the photographing unit 240 as the angle of the plurality of joints is controlled by the control unit 230.

통신부(250)는 다관절 매니퓰레이터(220)에 배치되며 촬영부(240)를 통해 획득한 영상 정보를 외부의 중앙연산처리장치(260)로 전송할 수 있다. 여기에서 영상 정보는 음성 정보를 포함할 수 있다. The communication unit 250 may be disposed in the articulated manipulator 220 and may transmit image information obtained through the photographing unit 240 to an external central processing unit 260. [ Here, the video information may include audio information.

여기에서, 일 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비는 중앙연산처리장치(260)를 더 포함하여 이루어질 수 있다. Here, the broadcasting image equipment using the multi-joint movement manipulator according to one embodiment may further include a central processing unit 260. [

중앙연산처리장치(260)는 통신부(250)로부터 촬영부(240)를 통해 획득한 영상 정보를 전달 받고, 촬영부(240)를 이용하여 타겟을 촬영하기 위해 각 관절의 각도 값을 계산하여 통신부(250)를 통해 제어부(230)로 전달할 수 있다. The central processing unit 260 receives the image information acquired from the communication unit 250 through the photographing unit 240 and calculates angle values of the respective joints to photograph the target using the photographing unit 240, To the control unit 230 through the control unit 250.

더 구체적으로, 중앙연산처리장치(260)는 영상 수신부, 비주얼 트래킹(Visual Tracking)부, 비주얼 서보잉(Visual Servoing)부, 및 다관절 각도 전송부를 포함하여 이루어질 수 있다. 또한, 실시예에 따라 중앙연산처리장치(260)는 저장부 및 수동 제어부를 더 포함하여 이루어질 수 있다. More specifically, the central processing unit 260 may include an image receiving unit, a visual tracking unit, a visual servoing unit, and a multi-joint angle transmitting unit. In addition, according to the embodiment, the central processing unit 260 may further include a storage unit and a manual control unit.

다시 말하면, 중앙연산처리장치(260)는 통신부(250)로부터 촬영부(240)를 통해 획득한 영상 정보를 전달 받는 영상 수신부, 영상 수신부에 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적하는 비주얼 트래킹(Visual Tracking)부, 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 촬영부(240)의 중앙에 배치되도록 다관절 매니퓰레이터(220)의 각 관절의 각도 값을 계산하는 비주얼 서보잉(Visual Servoing)부, 및 비주얼 트래킹부와 비주얼 서보잉부를 통해 계산된 다관절 매니퓰레이터(220)의 각 관절의 각도 값을 통신부(250)와 통신하여 제어부로 전달하는 다관절 각도 전송부를 포함하여 이루어질 수 있다. In other words, the central processing unit 260 calculates the current state of the target based on the image information received by the image receiving unit and the image receiving unit, the image receiving unit receiving the image information acquired through the photographing unit 240 from the communication unit 250 A visual tracking unit for tracking a target and an angle value of each joint of the articulated manipulator 220 so that the target is disposed at the center of the photographing unit 240 using the current state of the target received from the visual tracking unit Joint manipulator 220 calculated by the visual tracking unit and the visual servoing unit 220 communicates with the communication unit 250 and transmits the angular value of each joint of the joint manipulator 220 to the control unit 250. [ And a transmission unit.

여기에서, 비주얼 트래킹부는 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. Here, the visual tracking unit processes the RGB data acquired from the image frame of the image information, tracks the target using the face recognition or object recognition algorithm, compares the current frame with the previous frame in the image frame, and calculates the current state of the target You can track moving targets in the image as you go.

또한, 비주얼 서보잉부는 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 다관절 매니퓰레이터(220)의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 엔드 이펙터(end effector)의 움직임과 촬영부(240)의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 촬영부(240)의 중앙에 배치되도록 다관절 매니퓰레이터(220)의 각 관절의 각도 값을 계산할 수 있다. In addition, the visual sur- acting unit obtains the interaction matrix by the coordinates of the current state of the target received from the visual tracking unit and the homogeneous transformation matrix of the end effector of the articulated manipulator 220, and detects the movement of the end effector The angle of each joint of the articulated manipulator 220 can be calculated so that the target is located at the center of the photographing unit 240 using the relationship between the coordinates of the target of the image frame of the robot 240.

그리고 저장부는 영상 정보를 저장할 수 있고, 수동 제어부는 사용자에 의해 입력된 수동 제어 신호를 입력 받아 다관절 각도 전송부를 통해 통신부(250)와 통신하여 제어부로 전달할 수 있다.
In addition, the storage unit may store image information, and the manual control unit may receive the manual control signal input by the user and communicate with the control unit through the multi-joint angle transmission unit.

도 3은 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템을 설명하기 위한 도면이다. FIG. 3 is a view for explaining a broadcast image equipment system using a multi-joint movement manipulator according to another embodiment.

도 3을 참조하면, 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템(300)은 영상 수신부(310), 비주얼 트래킹(Visual Tracking)부(320), 비주얼 서보잉(Visual Servoing)부(330), 및 다관절 각도 전송부(340)를 포함하여 이루어질 수 있다. 또한, 실시예에 따라 저장부(350) 및 수동 제어부(360)를 더 포함하여 이루어질 수 있다.3, a broadcasting image equipment system 300 using a joint movement manipulator according to another embodiment includes an image receiving unit 310, a visual tracking unit 320, a visual servoing unit 320, (330), and a polygon angle transfer unit (340). Further, according to the embodiment, the storage unit 350 and the manual control unit 360 may be further included.

영상 수신부(310)는 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받을 수 있다. The image receiving unit 310 may receive image information obtained through a photographing unit from a communication unit configured in a multi-joint manipulator formed in a robot platform and having a plurality of joints.

비주얼 트래킹(Visual Tracking)부(320)는 영상 수신부(310)에 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적할 수 있다. 즉, 비주얼 트래킹부(320)는 영상 수신부(310)에 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적함으로써 비주얼 트래킹을 할 수 있다. The visual tracking unit 320 may track the target by calculating the current state of the target based on the image information received by the image receiving unit 310. [ That is, the visual tracking unit 320 can perform visual tracking by calculating the current state of the target based on the image information received by the image receiving unit 310 and tracking the target.

비주얼 트래킹부(320)는 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. The visual tracking unit 320 processes the RGB data obtained from the image frame of the image information to track the target using the face recognition or object recognition algorithm, compares the current frame with the previous frame in the image frame, As you calculate, you can track the moving target within the image.

아래에서 비주얼 트래킹에 대해서 더 구체적으로 설명한다. The following is a more detailed description of visual tracking.

비주얼 트래킹(Visual Tracking)은 현재 영상 처리 분야에서 널리 쓰이고 있는 기술 중 하나이다. 본 기술의 주된 목적은 영상 속에서 움직이는 특정 타겟을 인식하고, 타겟의 현재 위치, 포즈, 이동 경로 등을 자동으로 파악, 계산 및 추적하는 것이다. Visual tracking (Visual Tracking) is one of the technologies widely used in image processing. The main purpose of this technology is to recognize a specific target moving in a video and to automatically grasp, calculate and track the current position, pose, and movement path of the target.

먼저, 영상의 프레임으로부터 얻는 RGB 데이터를 처리하여, 원하는 타겟을 찾아낼 수 있다. 타겟을 찾아내는 과정에는 얼굴인식 또는 물체인식 알고리즘(페이스 트래킹(face tracking) 또는 오브젝트 트래킹(object tracking))이 사용될 수 있다. 그리고 이전 프레임과 현재 프레임을 비교하여, 즉 타겟의 이전 상태 x k -1 과 현재 프레임에서 얻은 관찰정보 x k 를 사용하여 현재 상태 x k 를 다음 식을 이용하여 계산할 수 있다.First, RGB data obtained from a video frame is processed to find a desired target. Face recognition or object recognition algorithms (face tracking or object tracking) can be used to find the target. The current state x k can be calculated using the following equation by comparing the previous frame with the current frame, that is, using the previous state x k -1 of the target and the observation information x k obtained in the current frame.

[수학식 1][Equation 1]

Figure 112016121503025-pat00001
Figure 112016121503025-pat00001

여기서, 현재 상태란 타겟의 위치 및 촬영부로부터의 거리, 포즈 등이 될 수 있다. 이러한 과정을 통하여 영상 안에서 움직이는 타겟을 트래킹 할 수 있다.Here, the current state may be a position of the target, a distance from the photographing unit, a pose, and the like. Through this process, you can track moving targets in the image.

비주얼 트래킹에는 연관성 벡터 머신(Relevance Vector Machine)과 같은 비확률적 방법과 재귀 베이즈 예측(Recursive Bayesian Estimation)와 같은 확률적 방법이 사용된다. 또한, 인식의 정확도를 높이기 위해, 몬테카를로 마르코프 체인(Monte-Carlo Markov Chain) 알고리즘과 같은 필터링 기법이 사용될 수 있다. For visual tracking, non-probabilistic methods such as Relevance Vector Machine and probabilistic methods such as Recursive Bayesian Estimation are used. In addition, filtering techniques such as the Monte-Carlo Markov Chain algorithm can be used to increase the accuracy of the recognition.

이렇게 얻어진 타겟의 데이터를 통해 제안된 로봇이 어떻게 움직여 타겟을 쫓아 촬영을 진행할지 알 수 있게 된다.Through the data of the target obtained as described above, it is possible to know how the proposed robot moves to follow the target and proceed the shooting.

또한, 비주얼 서보잉(Visual Servoing)부(330)는 비주얼 트래킹부(320)로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. 즉, 비주얼 서보잉부(330)는 비주얼 트래킹부(320)로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산함으로써 비주얼 서보잉을 할 수 있다. The visual servoing unit 330 may calculate the angle value of each joint of the multi-joint manipulator so that the target is located at the center of the photographing unit using the current state of the target received from the visual tracking unit 320 have. That is, the visual servoing unit 330 performs visual surveillance by calculating the angular value of each joint of the articulated manipulator so that the target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit 320 .

비주얼 서보잉부(330)는 비주얼 트래킹부(320)로부터 전달 받은 타겟의 현재 상태의 좌표와 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 엔드 이펙터(end effector)의 움직임과 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. The visual servoing unit 330 obtains an interaction matrix based on the coordinates of the current state of the target received from the visual tracking unit 320 and the homogeneous transformation matrix of the end effector of the articulated manipulator, The angle value of each joint of the articulated manipulator can be calculated so that the target is located at the center of the photographing unit by using the relationship between the coordinates of the target of the image frame of the photographing unit.

아래에서 비주얼 서보잉에 대해서 더 구체적으로 설명한다. Below we explain the visual surveillance in more detail.

비주얼 서보잉(Visual Servoing)은 비주얼 트래킹에서 받아온 촬영부 정보를 이용하여 타겟이 촬영부 중앙에 올 수 있도록 다관절 매니퓰레이터의 관절의 값들을 얻어내는 기술이다. Visual Servoing is a technique of obtaining the joint values of the joint manipulator so that the target can be located at the center of the shooting region using the photographing information received from the visual tracking.

촬영부가 부착된 매니퓰레이터의 엔드 이펙터(end effector)가 움직이면 촬영부 프레임에서 타겟의 좌표가 변하게 된다. 또한, 엔드 이펙터(end effector)가 움직이면 매니퓰레이터의 다관절의 값들이 변하게 된다. 이 두 상호작용 관계와 키네매틱스를 이용해서 비주얼 서보잉 문제를 해결할 수 있다.When the end effector of the manipulator with the imaging unit moves, the coordinates of the target in the imaging unit frame are changed. Also, when the end effector moves, the values of the joints of the manipulator are changed. These two interaction relationships and kinematics can be used to solve the visual servoing problem.

비주얼 트래킹을 통해 얻은 타겟의 좌표 P 와 엔드 이펙터(end effector)의 동차변화 행렬 T c 에 의해 상호작용 행렬을

Figure 112016121503025-pat00002
이라 하면, 엔드 이펙터(end effector)의 움직임과 촬영부 프레임의 타겟의 좌표 사이의 관계를 다음 식과 같이 나타낼 수 있다. The interaction matrix P is obtained by the coordinate P of the target obtained through visual tracking and the homogeneous transformation matrix T c of the end effector
Figure 112016121503025-pat00002
, The relationship between the motion of the end effector and the coordinates of the target of the photographing section frame can be expressed by the following equation.

[수학식 2]&Quot; (2) "

Figure 112016121503025-pat00003
Figure 112016121503025-pat00003

여기서, 매니퓰레이터의 다관절의 값들을

Figure 112016121503025-pat00004
라 하면 엔드 이펙터(end effector)의 동차변화 행렬은 q 의 자코비안 행렬로 다음 식과 같이 표현할 수 있다.Here, the values of the joints of the manipulator
Figure 112016121503025-pat00004
The autocorrelation matrix of the end effector can be expressed as a Jacobian matrix of q as follows.

[수학식 3]&Quot; (3) "

Figure 112016121503025-pat00005
Figure 112016121503025-pat00005

위의 두 가지 관계를 사용하여 타겟의 좌표 P 와 매니퓰레이터의 다관절의 값 q 사이의 상호작용 관계식을 구할 수 있다. Using the above two relations, we can obtain the interaction relation between the target's coordinate P and the manipulated multi-joint q .

여기에서, P 와 q 사이의 상호작용 행렬을

Figure 112016121503025-pat00006
라 하는 경우 다음과 같은 관계식을 도출할 수 있다. Here, the interaction matrix between P and q is
Figure 112016121503025-pat00006
The following relation can be derived.

[수학식 4]&Quot; (4) "

Figure 112016121503025-pat00007
Figure 112016121503025-pat00007

위의 두 가지 관계식으로부터 다음 식을 구할 수 있다. The following equations can be obtained from the above two relations.

[수학식 5]&Quot; (5) "

Figure 112016121503025-pat00008
Figure 112016121503025-pat00008

여기에서, P 와 타겟의 목표 좌표(원점) 사이의 차이를 오차로 정의하고 이 오차를 최소화하는 방법으로 매니퓰레이터의 다관절의 값 q 를 구할 수 있다.Here, we define the difference between P and the target coordinates (origin) of the target as the error, and we can obtain the value q of the joints of the manipulator by minimizing this error.

그리고, 다관절 각도 전송부(340)는 비주얼 트래킹부와 비주얼 서보잉부(330)를 통해 계산된 다관절 매니퓰레이터의 각 관절의 각도 값을 통신부와 통신하여 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달할 수 있다. The multi-joint angle transmitting unit 340 communicates with the communication unit the angular values of the joints of the multi-joint manipulator calculated through the visual tracking unit and the visual servo unit 330 to control the multi-joint manipulator in which a plurality of joints are formed To the control unit.

또한, 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템(300)은 저장부(350) 및 수동 제어부(360)를 더 포함하여 이루어질 수 있다.In addition, the broadcasting image equipment system 300 using the multi-joint movement manipulator according to another embodiment may further include a storage unit 350 and a manual control unit 360.

저장부(350)는 영상 정보를 저장할 수 있고, 수동 제어부(360)는 사용자에 의해 입력된 수동 제어 신호를 입력 받아 다관절 각도 전송부(340)를 통해 통신부와 통신하여 제어부로 전달할 수 있다. The storage unit 350 may store the image information, and the manual control unit 360 may receive the manual control signal input by the user and may communicate with the control unit through the joint angle transfer unit 340 by communicating with the communication unit.

이에 따라 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비의 제어부는 다관절 매니퓰레이터를 제어하여 복수 개의 관절의 각도를 각각 조절할 수 있으며, 다관절 매니퓰레이터에 구비된 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영할 수 있다.Accordingly, the control unit of the broadcasting image equipment using the multi-joint movement manipulator can control the angle of the plurality of joints by controlling the multi-joint manipulator, and can automatically track the target through the shooting unit provided in the multi- have.

이와 같이, 실시예에 따르면 다관절 매니퓰레이터의 작업 동작에 따라 변하는 위치 정보를 계산하고, 다관절 촬영부가 이동하여 최적의 영상을 찾아 전송시킬 수 있도록 할 수 있다.
As described above, according to the embodiment, it is possible to calculate the positional information that changes according to the operation of the multi-joint manipulator, and to move the multi-joint imaging unit to find and transmit an optimal image.

도 4는 또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법을 나타내는 흐름도이다. 4 is a flowchart illustrating a method of controlling a broadcasting image equipment using a multi-joint movement manipulator according to another embodiment.

도 4를 참조하면, 또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법은 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받는 단계(410), 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 비주얼 트래킹(Visual Tracking)을 통해 타겟을 추적하는 단계(420), 비주얼 트래킹으로 획득한 타겟의 현재 상태를 이용하여 타겟이 촬영부의 중앙에 배치되도록 비주얼 서보잉(Visual Servoing)을 통해 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 단계(430), 및 비주얼 트래킹부와 비주얼 서보잉부를 통해 계산된 다관절 매니퓰레이터의 각 관절의 각도 값을 통신부와 통신하여 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달하는 단계(440)를 포함하여 이루어질 수 있다. Referring to FIG. 4, a method of controlling a broadcasting image equipment using a multi-joint movement manipulator according to another embodiment of the present invention includes acquiring a plurality of joints from a communication unit configured by a manipulator, A step 420 of receiving the image information, calculating a current state of the target based on the received image information, and tracking the target through visual tracking 420, a current state of the target acquired by the visual tracking (430) for calculating angle values of each joint of the articulated manipulator through visual servoing so that the target is positioned at the center of the photographing unit using the visual tracking unit and the visual servoing unit A joint manipulator in which an angle value of each joint of the joint manipulator is communicated with a communication unit to form a plurality of joints, It can be achieved by a step 440 to pass to the control unit for controlling the data.

또한, 제어부에 전달된 다관절 매니퓰레이터의 각 관절의 각도 값에 따라 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하는 단계를 더 포함할 수 있다. The method may further include automatically tracking the target through the photographing unit according to an angle value of each joint of the joint manipulator transmitted to the control unit and photographing the image.

아래에서 또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법에 대해 하나의 예를 들어 더 구체적으로 설명하기로 한다.
Hereinafter, a broadcast image equipment control method using a multi-joint movement manipulator according to another embodiment will be described in more detail with an example.

또 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법은 도 3에서 설명한 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템을 이용하여 더 구체적으로 설명할 수 있다. 다른 실시예에 따른 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템은 영상 수신부, 비주얼 트래킹(Visual Tracking)부, 비주얼 서보잉(Visual Servoing)부, 및 다관절 각도 전송부를 포함하여 이루어질 수 있다. 또한, 실시예에 따라 중앙연산처리장치는 저장부 및 수동 제어부를 더 포함하여 이루어질 수 있다.The broadcasting image equipment control method using the multi-joint movement manipulator according to another embodiment can be more specifically explained by using the broadcasting image equipment system using the multi-joint movement manipulator according to another embodiment explained in FIG. The broadcast image equipment system using the joint movement manipulator according to another embodiment may include an image receiving unit, a visual tracking unit, a visual servoing unit, and a joint angle angle transmitting unit. In addition, according to the embodiment, the central processing unit may further include a storage unit and a manual control unit.

단계(410)에서, 영상 수신부는 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받을 수 있다. In operation 410, the image receiving unit may receive the image information acquired through the photographing unit from the communication unit configured in the articulated manipulator configured in the robot platform to form a plurality of joints.

단계(420)에서, 비주얼 트래킹(Visual Tracking)부는 영상 수신부에 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적할 수 있다. 즉, 비주얼 트래킹부는 영상 수신부에 전달 받은 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적함으로써 비주얼 트래킹을 할 수 있다. In step 420, the visual tracking unit may track the target by calculating the current state of the target based on the image information received by the image receiving unit. That is, the visual tracking unit can perform visual tracking by calculating the current state of the target based on the image information transmitted to the image receiving unit and tracking the target.

비주얼 트래킹부는 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적할 수 있다. The visual tracking unit processes the RGB data obtained from the image frame of the image information, tracks the target using the face recognition or object recognition algorithm, compares the current frame with the previous frame in the image frame, You can track the target moving inside.

단계(430)에서, 비주얼 서보잉(Visual Servoing)부는 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. 즉, 비주얼 서보잉부는 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산함으로써 비주얼 서보잉을 할 수 있다. In step 430, the visual servoing unit may calculate the angle value of each joint of the multi-joint manipulator so that the target is positioned at the center of the shooting unit using the current state of the target received from the visual tracking unit. That is, the visual surveillance unit can perform the visual surveillance by calculating the angle value of each joint of the articulated manipulator so that the target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit.

비주얼 서보잉부는 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 엔드 이펙터(end effector)의 움직임과 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 촬영부의 중앙에 배치되도록 다관절 매니퓰레이터의 각 관절의 각도 값을 계산할 수 있다. The visual surveillance unit obtains the interaction matrix by using the coordinate of the current state of the target received from the visual tracking unit and the homogeneous transformation matrix of the end effector of the articulated manipulator and calculates the interaction matrix between the motion of the end effector and the target The angular value of each joint of the articulated manipulator can be calculated so that the target is disposed at the center of the photographing unit.

단계(440)에서, 제어부에 전달된 다관절 매니퓰레이터의 각 관절의 각도 값에 따라 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영할 수 있다. In step 440, the target may be automatically tracked through the photographing unit according to the angular value of each joint of the joint manipulator transmitted to the control unit to photograph the image.

이후, 제어부에 전달된 다관절 매니퓰레이터의 각 관절의 각도 값에 따라 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영할 수 있다. Thereafter, the target can be automatically tracked through the photographing unit according to the angle value of each joint of the joint manipulator transmitted to the control unit, thereby capturing an image.

이와 같이, 실시예들에 따르면 기존의 사람이 타겟을 촬영하는 방식이 아니라, 다관절 이동 매니퓰레이터에 촬영부를 부착하여 타겟을 자동으로 추적하여 촬영하는 방식이기 때문에 방송 영상 장비의 자동화를 기대할 수 있다. 또한, 촬영부의 중앙에 타겟이 올 때까지 매니퓰레이터가 궤적을 최적화하여 움직이기 때문에 부드러운 영상을 얻을 수 있다. 따라서 작업의 효율의 향상뿐만 아니라 영상의 품질을 높이는 효과도 기대할 수 있다.As described above, according to the embodiments of the present invention, automation of broadcasting video equipment can be expected because the conventional method is not a method of photographing a target but a method of automatically photographing and tracking a target by attaching a photographing unit to a multi-joint movement manipulator. Further, since the manipulator manages the trajectory by moving until the target comes to the center of the photographing portion, a smooth image can be obtained. Therefore, not only the efficiency of the work but also the image quality can be expected to be enhanced.

이상과 같이, 실시예들은 로봇을 활용한 최적의 영상을 촬영하기 위한 기법으로써, 주로 방송 촬영을 위한 방송 영상 장비에 활용될 수 있다. 방송 영상 장비는 고가 장비로, 주로 영화나 드라마 등의 영상 콘텐츠 제작에 사용된다. 그리고 현재 방송 영상 장비 시장은 개인 방송의 확장에 따라 점차 그 규모가 커지고 있다. 이에, 본 실시예에 따른 방송 영상 장비의 수요 또한 높아질 것으로 기대된다.　As described above, the embodiments are techniques for photographing an optimal image using a robot, and can be mainly applied to broadcast image equipment for broadcast photographing. Broadcasting video equipment is expensive equipment, mainly used to produce video contents such as movies and dramas. Currently, the broadcasting video equipment market is gradually expanding with the expansion of personal broadcasting. Accordingly, it is expected that the demand for broadcasting image equipment according to the present embodiment will also be increased.

또한, 실시예들은 비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술이 결합된 형태이므로 다관절 로봇을 활용한 공장의 제조 공정 또는 자동 사격을 위한 군수 산업에 사용될 수 있다.　
In addition, since the embodiments are combined with the visual tracking technology and the visual servoing technology, they can be used in the manufacturing process of a factory using a jointed-arm robot or in the military industry for automatic shooting.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing apparatus may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

200: 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비
210: 로봇 플랫폼
220: 다관절 매니퓰레이터(manipulator)
230: 제어부
240: 촬영부
250: 통신부
260: 중앙연산처리장치
300: 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템
310: 영상 수신부
320: 비주얼 트래킹(Visual Tracking)부
330: 비주얼 서보잉(Visual Servoing)부
340: 다관절 각도 전송부
350: 저장부
360: 수동 제어부
200: Broadcasting video equipment using multi-joint movement manipulator
210: Robot Platform
220: articulated manipulator
230:
240:
250:
260: central processing unit
300: Broadcasting video equipment system using multi-joint movement manipulator
310:
320: Visual Tracking
330: Visual Servoing Department
340: articulated angle transmission part
350:
360: Manual control unit

Claims (15)

이동 가능한 로봇 플랫폼;
상기 로봇 플랫폼에 구성되며 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator);
상기 다관절 매니퓰레이터에 배치되어 상기 복수 개의 관절의 각도를 각각 제어하는 제어부;
상기 다관절 매니퓰레이터의 엔드 이펙터(end effector)에 부착되어 영상을 촬영하는 촬영부;
상기 다관절 매니퓰레이터에 배치되며 상기 촬영부를 통해 획득한 영상 정보를 외부의 중앙연산처리장치로 전송하는 통신부; 및
상기 통신부로부터 상기 촬영부를 통해 획득한 영상 정보를 전달 받고, 상기 촬영부를 이용하여 타겟을 촬영하기 위해 각 관절의 각도 값을 계산하여 상기 통신부를 통해 상기 제어부로 전달하는 중앙연산처리장치
를 포함하고,
상기 다관절 매니퓰레이터는 상기 제어부에 의해 적어도 1축 이상의 자유도를 갖는 모터를 통해 구현되는 상기 복수 개의 관절의 각도가 각각 제어됨에 따라 상하좌우 방향으로 자유롭게 각도가 조절되며, 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하고,
상기 중앙연산처리장치는,
상기 통신부로부터 상기 촬영부를 통해 획득한 영상 정보를 전달 받는 영상 수신부;
상기 영상 수신부에 전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적하는 비주얼 트래킹(Visual Tracking)부;
상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 비주얼 서보잉(Visual Servoing)부; 및
상기 비주얼 트래킹부와 상기 비주얼 서보잉부를 통해 계산된 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 제어부로 전달하는 다관절 각도 전송부
를 포함하며,
상기 비주얼 트래킹부는,
상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적하고,
상기 비주얼 서보잉부는,
상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 상기 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비.A movable robot platform;
A joint manipulator configured on the robot platform and having a plurality of joints formed therein;
A controller disposed in the articulated manipulator for controlling angles of the plurality of joints;
A photographing unit attached to an end effector of the articulated manipulator for photographing an image;
A communication unit which is disposed in the articulated manipulator and transmits image information obtained through the photographing unit to an external central processing unit; And
A central processing unit for receiving the image information obtained through the photographing unit from the communication unit, calculating an angle value of each joint for photographing the target using the photographing unit, and transmitting the angle value to the control unit through the communication unit,
Lt; / RTI >
The articulated manipulator is freely angularly adjusted in the up and down and left and right directions by controlling the angles of the plurality of joints realized through the motor having at least one or more degrees of freedom by the control unit, Tracking and capturing images,
Wherein the central processing unit comprises:
An image receiving unit that receives image information acquired from the communication unit through the photographing unit;
A visual tracking unit for calculating a current state of the target based on the image information received by the image receiving unit and tracking the target;
A visual servoing unit for calculating an angle value of each joint of the articulated manipulator so that a target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit; And
An angle-of-articulation transmitter for communicating the angular value of each joint of the articulated manipulator calculated through the visual tracking unit and the visual servoing unit to the controller,
/ RTI >
The visual tracking unit includes:
The RGB data obtained from the image information is processed to track the target using the face recognition or object recognition algorithm. The current state of the target is calculated by comparing the previous frame and the current frame in the image frame, Track your target,
The visual sur-
An interpolation matrix calculating unit that calculates an interaction matrix based on a coordinate of a current state of the target received from the visual tracking unit and a homogeneous transformation matrix of the end effector of the articulated manipulator, Calculating the angular value of each joint of the articulated manipulator so that the target is located at the center of the photographing unit using the relationship between the coordinates of the target
A broadcast image device using a multi-joint movement manipulator. 제1항에 있어서,
상기 로봇 플랫폼은,
복수 개의 옴니휠이 구비되어 이동이 가능한 옴니휠 형태의 모바일 로봇 플랫폼인 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비.The method according to claim 1,
The robot platform includes:
It is a mobile robot platform in the form of an omni-wheel that can be moved with a plurality of omni wheels
A broadcast image device using a multi-joint movement manipulator. 제1항에 있어서,
상기 다관절 매니퓰레이터는,
상기 엔드 이펙터에 부착된 상기 촬영부를 이용하여 타겟을 촬영하기 위해 상기 제어부로부터 전달 받은 각 관절의 각도 값을 계산한 제어 신호에 따라 상기 타겟을 추적하는 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비.The method according to claim 1,
The articulated manipulator includes:
And tracking the target according to a control signal which is calculated by calculating an angle value of each joint received from the control unit to photograph the target using the photographing unit attached to the end effector
A broadcast image device using a multi-joint movement manipulator. 제3항에 있어서,
상기 제어 신호는,
비주얼 트래킹(Visual Tracking) 기술과 비주얼 서보잉(Visual Servoing) 기술을 결합하여 상기 각 관절의 각도 값을 계산한 신호이며, 상기 제어 신호에 따라 상기 다관절 매니퓰레이터가 상기 타겟을 추적하여 상기 이펙터에 부착된 상기 촬영부를 통해 자동적으로 촬영이 이루어지도록 하는 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비.The method of claim 3,
Wherein the control signal comprises:
The articulated manipulator tracks the target according to the control signal, and outputs the signal to the effector. The visual tracking technique and the visual servoing technique are combined to calculate angle values of the joints. The photographing is automatically performed through the photographing unit
A broadcast image device using a multi-joint movement manipulator. 삭제delete 삭제delete 삭제delete 삭제delete 이동 가능한 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받는 영상 수신부;
상기 영상 수신부에 전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 타겟을 추적하는 비주얼 트래킹(Visual Tracking)부;
상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 비주얼 서보잉(Visual Servoing)부; 및
상기 비주얼 트래킹부와 상기 비주얼 서보잉부를 통해 계산된 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달하는 다관절 각도 전송부
를 포함하고,
상기 다관절 매니퓰레이터는 상기 제어부에 의해 적어도 1축 이상의 자유도를 갖는 모터를 통해 구현되는 상기 복수 개의 관절의 각도가 각각 제어됨에 따라 상하좌우 방향으로 자유롭게 각도가 조절되며, 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하고,
상기 비주얼 트래킹부는,
상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적하며,
상기 비주얼 서보잉부는,
상기 비주얼 트래킹부로부터 전달 받은 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 시스템. An image receiving unit configured to receive image information acquired through a photographing unit from a communication unit configured in a multi-joint manipulator configured on a movable robot platform and having a plurality of joints;
A visual tracking unit for calculating a current state of the target based on the image information received by the image receiving unit and tracking the target;
A visual servoing unit for calculating an angle value of each joint of the articulated manipulator so that a target is positioned at the center of the photographing unit using the current state of the target received from the visual tracking unit; And
Wherein the angular value of each joint of the articulated manipulator calculated through the visual tracking unit and the visual servoing unit is communicated to the communication unit and transmitted to the controller for controlling the articulated manipulator having the plurality of articulated joints, part
Lt; / RTI >
The articulated manipulator is freely angularly adjusted in the up and down and left and right directions by controlling the angles of the plurality of joints realized through the motor having at least one or more degrees of freedom by the control unit, Tracking and capturing images,
The visual tracking unit includes:
The RGB data obtained from the image information is processed to track the target using the face recognition or object recognition algorithm. The current state of the target is calculated by comparing the previous frame and the current frame in the image frame, Track your target,
The visual sur-
An interaction matrix is obtained from the coordinates of the current state of the target received from the visual tracking unit and a homogeneous transformation matrix of the end effector of the articulated manipulator to calculate the interaction matrix between the motion of the end effector and the target of the image frame of the photographing unit To calculate the angular value of each joint of the articulated manipulator so that the target is located at the center of the photographing unit using the relationship between the coordinates
A broadcast image equipment system using a multi-joint movement manipulator. 삭제delete 삭제delete 이동 가능한 로봇 플랫폼에 구성되어 복수 개의 관절이 형성되는 다관절 매니퓰레이터(manipulator)에 구성된 통신부로부터 촬영부를 통해 획득한 영상 정보를 전달 받는 단계;
전달 받은 상기 영상 정보를 기반으로 타겟의 현재 상태를 계산하여 비주얼 트래킹(Visual Tracking)을 통해 타겟을 추적하는 단계;
상기 비주얼 트래킹으로 획득한 타겟의 현재 상태를 이용하여 타겟이 상기 촬영부의 중앙에 배치되도록 비주얼 서보잉(Visual Servoing)을 통해 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 단계; 및
상기 다관절 매니퓰레이터의 각 관절의 각도 값을 상기 통신부와 통신하여 상기 복수 개의 관절이 형성되는 다관절 매니퓰레이터를 제어하는 제어부로 전달하는 단계
를 포함하고,
상기 다관절 매니퓰레이터는 상기 제어부에 의해 적어도 1축 이상의 자유도를 갖는 모터를 통해 구현되는 상기 복수 개의 관절의 각도가 각각 제어됨에 따라 상하좌우 방향으로 자유롭게 각도가 조절되며, 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하고,
상기 비주얼 트래킹(Visual Tracking)을 통해 타겟을 추적하는 단계는,
상기 영상 정보의 영상 프레임으로부터 획득한 RGB 데이터를 처리하여 얼굴인식 또는 물체인식 알고리즘을 사용하여 타겟을 추적하고, 영상 프레임에서 이전 프레임과 현재 프레임을 비교하여 타겟의 현재 상태를 계산함에 따라 영상 안에서 움직이는 타겟을 추적하며,
상기 비주얼 서보잉(Visual Servoing)을 통해 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 단계는,
상기 비주얼 트래킹을 통해 획득한 타겟의 현재 상태의 좌표와 상기 다관절 매니퓰레이터의 엔드 이펙터의 동차변환 행렬에 의해 상호작용 행렬을 구하여, 상기 엔드 이펙터(end effector)의 움직임과 상기 촬영부의 영상 프레임의 타겟의 좌표 사이의 관계를 이용해 타겟이 상기 촬영부의 중앙에 배치되도록 상기 다관절 매니퓰레이터의 각 관절의 각도 값을 계산하는 것
을 특징으로 하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비의 제어 방법. Receiving image information obtained through a photographing unit from a communication unit configured in a multi-joint manipulator configured on a movable robot platform and having a plurality of joints;
Calculating a current state of the target based on the received image information and tracking the target through visual tracking;
Calculating angle values of each joint of the articulated manipulator through visual servoing so that the target is positioned at the center of the photographing unit using the current state of the target acquired by the visual tracking; And
Communicating the angle value of each joint of the articulated manipulator with the communication unit and transmitting the angle value to a controller for controlling the articulated manipulator in which the plurality of joints are formed
Lt; / RTI >
The articulated manipulator is freely angularly adjusted in the up and down and left and right directions by controlling the angles of the plurality of joints realized through the motor having at least one or more degrees of freedom by the control unit, Tracking and capturing images,
The step of tracking the target through the visual tracking includes:
The RGB data obtained from the image information is processed to track the target using the face recognition or object recognition algorithm. The current state of the target is calculated by comparing the previous frame and the current frame in the image frame, Track your target,
Wherein the step of calculating angle values of each joint of the articulated manipulator through visual serving comprises:
An interaction matrix is determined by coordinates of a current state of the target obtained through the visual tracking and a homogeneous transformation matrix of an end effector of the articulated manipulator, and a motion of the end effector and a target of an image frame of the photographing unit To calculate the angular value of each joint of the articulated manipulator so that the target is located at the center of the photographing unit using the relationship between the coordinates
And controlling the broadcasting image equipment using the multi-joint movement manipulator. 삭제delete 삭제delete 제12항에 있어서,
상기 제어부에 전달된 상기 다관절 매니퓰레이터의 각 관절의 각도 값에 따라 상기 촬영부를 통해 자동적으로 타겟을 추적하여 영상을 촬영하는 단계
를 더 포함하는 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 제어 방법. 13. The method of claim 12,
And automatically tracking the target through the photographing unit according to an angle value of each joint of the articulated manipulator transmitted to the controller,
Wherein the controller is further configured to control the broadcast image equipment using the multi-joint movement manipulator.
KR1020160168535A 2016-12-12 2016-12-12 Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof KR101818869B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160168535A KR101818869B1 (en) 2016-12-12 2016-12-12 Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160168535A KR101818869B1 (en) 2016-12-12 2016-12-12 Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof

Publications (1)

Publication Number Publication Date
KR101818869B1 true KR101818869B1 (en) 2018-01-17

Family

ID=61025833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168535A KR101818869B1 (en) 2016-12-12 2016-12-12 Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof

Country Status (1)

Country Link
KR (1) KR101818869B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094004A (en) * 2019-01-29 2020-08-06 주식회사 로테스 The automatic shooting robot device for personal broadcasting system
KR20210076718A (en) * 2019-12-16 2021-06-24 쓰리디메디비젼 주식회사 Supporter for medical camera
KR20220125876A (en) * 2021-03-05 2022-09-15 한국자동차연구원 Apparatus and method for generating training data set using robot arm
KR20220125875A (en) * 2021-03-05 2022-09-15 한국자동차연구원 Apparatus and method for generating training data set

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013063474A (en) * 2011-09-15 2013-04-11 Yaskawa Electric Corp Robot system and imaging method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013063474A (en) * 2011-09-15 2013-04-11 Yaskawa Electric Corp Robot system and imaging method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094004A (en) * 2019-01-29 2020-08-06 주식회사 로테스 The automatic shooting robot device for personal broadcasting system
KR102185642B1 (en) * 2019-01-29 2020-12-02 주식회사 로테스 The automatic shooting robot device for personal broadcasting system
KR20210076718A (en) * 2019-12-16 2021-06-24 쓰리디메디비젼 주식회사 Supporter for medical camera
KR102315803B1 (en) 2019-12-16 2021-10-21 쓰리디메디비젼 주식회사 Supporter for medical camera
KR20220125876A (en) * 2021-03-05 2022-09-15 한국자동차연구원 Apparatus and method for generating training data set using robot arm
KR20220125875A (en) * 2021-03-05 2022-09-15 한국자동차연구원 Apparatus and method for generating training data set
KR102573019B1 (en) 2021-03-05 2023-08-31 한국자동차연구원 Apparatus and method for generating training data set
KR102573020B1 (en) 2021-03-05 2023-08-31 한국자동차연구원 Apparatus and method for generating training data set using robot arm

Similar Documents

Publication Publication Date Title
KR101818869B1 (en) Broadcasting Image Equipment using Multi-Joint Movement Manipulator and Method of Controlling thereof
CN103705307B (en) Surgical navigation system and medical robot
US11420335B2 (en) Information processing apparatus, information processing method, and information processing system
JP5814938B2 (en) Calibration-free visual servo using real-time speed optimization
US8265791B2 (en) System and method for motion control of humanoid robot
US20200261155A1 (en) Image based robot guidance
KR20140031316A (en) Tracking and following of moving objects by a mobile robot
KR20080027256A (en) Method and system for performing 3-d tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US11685052B2 (en) Vision guided robot arm and method for operating the same
CN114730454A (en) Scene awareness system and method
Ferro et al. Vision-based suturing needle tracking with extended kalman filter
Pathak et al. A decoupled virtual camera using spherical optical flow
Wang et al. Robot-assisted occlusion avoidance for surgical instrument optical tracking system
CN110445982B (en) Tracking shooting method based on six-degree-of-freedom equipment
Cortes et al. Increasing optical tracking workspace of VR applications using controlled cameras
JP6158665B2 (en) Robot, robot control method, and robot control program
Taylor et al. Flexible self-calibrated visual servoing for a humanoid robot
Watanabe et al. Microgravity experiments for a visual feedback control of a space robot capturing a target
JPH03213278A (en) Remote control support system for robot
JPH05138582A (en) Active camera searching device for manipulating object by using robot
JP2005205519A (en) Robot hand device
Tobergte et al. An approach to ulta-tightly coupled data fusion for handheld input devices in robotic surgery
JPH0430981A (en) Control unit for television camera of remote control type robot
Cortes et al. An optical tracking system based on hybrid stereo/single-view registration and controlled cameras
JP4027294B2 (en) Moving object detection apparatus, moving object detection method, and moving object detection program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant