KR101216065B1 - 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템 - Google Patents

마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템 Download PDF

Info

Publication number
KR101216065B1
KR101216065B1 KR1020110093226A KR20110093226A KR101216065B1 KR 101216065 B1 KR101216065 B1 KR 101216065B1 KR 1020110093226 A KR1020110093226 A KR 1020110093226A KR 20110093226 A KR20110093226 A KR 20110093226A KR 101216065 B1 KR101216065 B1 KR 101216065B1
Authority
KR
South Korea
Prior art keywords
marker
joint
robot
resource development
unit
Prior art date
Application number
KR1020110093226A
Other languages
English (en)
Inventor
심현철
허성식
이성기
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110093226A priority Critical patent/KR101216065B1/ko
Application granted granted Critical
Publication of KR101216065B1 publication Critical patent/KR101216065B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/06—Programme-controlled manipulators characterised by multi-articulated arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/14—Programme-controlled manipulators characterised by positioning means for manipulator elements fluid
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템에 관한 것으로, 더욱 상세하게는 설정 포인트에 마커가 구비된 마커 장갑과, 상기 마커의 주위에 복수개 배치되어 마커의 움직임을 촬영하는 카메라부를 포함하는 원격입력부와; 상기 카메라부의 촬영으로 생성된 영상정보에 마커의 영상정보를 추출하고, 마커의 3차원 위치 변화를 계산하며, 상기 마커의 3차원 위치 변화와 대응되는 자원 개발 로봇의 해당 관절의 각도를 계산하는 원격입력처리부와; 상기 원격입력처리부의 관절 각도 계산에 의한 관절 각도 계산값을 송신하는 무선송신부와; 상기 관절 각도 계산값을 수신하는 무선수신부와; 상기 관절각도 계산값을 기초로 자원 개발 로봇의 해당 관절에 각도를 제어하는 로봇 제어부; 및 상기 로봇 제어부에 의해 제어되는 것으로, 적어도 하나 이상의 관절을 갖으며 유체실린더에 의해 구동되는 작업장치를 포함하는 자원 개발 로봇;을 포함하여 구성되는 것을 특징으로 한다.

Description

마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템{A hand gesture-based control method using camera-based recognition for mining robots}
본 발명은 마커 장갑의 화상인식을 기반으로 자원 개발 로봇을 구동하는 시스템에 관한 것으로, 더욱 상세하게는 주요 관절 부위에 시인성이 우수한 마커를 구비한 마커 장갑과, 상기 마커 장갑의 각 마커의 움직임을 다각도로 촬영하는 복수개의 카메라를 이용하여 마커의 움직임을 3차원으로 계산한 후 이를 기초로 자원 개발 로봇의 구동제어에 활용하는 시스템에 관한 것이다.
일반적인 굴삭기 등과 같은 건설장비에 의한 작업의 특성을 살펴보면, 작업자들은 유압 밸브를 직접 제어하는 수동 레버를 조작하여 굴삭기 등을 조작한다.
따라서 긴 훈련 과정과 오랜 경험을 갖추어야 버켓 운동과 레버 조작 사이의 상관 관계를 체득할 수 있기 때문에 비숙련자가 건설장비를 조작하는 것은 매우 어려운 일이다.
보다 더 어려운 점은 버켓에 가해지는 부하를 감지하는 것인데, 이는 버켓의 이동 속도, 부하에 대한 엔진의 반응, 레버에 전달되어 오는 반동 압력만이 이를 추정하기 위한 유일한 피드백이라는 것이다.
이와 같은 이유로 건설장비를 운전하기 위한 운전자는 장기간 동안 건설장비의 조작을 위한 훈련을 받아야 한다. 또한, 장기간의 훈련을 받은 운전자라도 건설장비에 탑승한 상태에서 건설장비를 운전하기 때문에 오조작 등의 실수로 부상을 입는 등 항상 위험에 노출되어 있다.
이러한 이유로 운전자가 건설장비에 탑승하지 않고도 건설장비를 운전할 수 있는 제어시스템에 대한 요구가 증대되고 있는데, 이를 위한 종래 기술로는 공개특허공보 제10-2010-0032536호(2010.03.26.)(이하, '종래기술1'이라 한다)와, 공개특허공보 제10-2009-0117141호(2009.11.12.)(이하, '종래기술2'라 한다)가 있고, 유사 기술로는 등록특허공보 제10-0457929호(2004.11.18.)(이하, '종래기술3'이라 한다)가 있다.
상기 종래기술1,2는 도 1에 도시한 바와 같이 하부 주행체(10)와, 상기 하부 주행체(10)에 선회가능하게 지지되는 상부 선회체(20)와, 붐(31)과 아암(33) 및 버켓(35)을 포함하며 상기 상부 선회체(20)에 마련된 작업장치(30)와, 상기 작업장치(30)의 구동 및 상기 상부 선회체(20)의 선회를 제어하기 위한 제어신호를 출력하는 장비 제어부(90)와, 상기 장비 제어부(90)로부터 출력된 신호에 따라 상기 작업장치(30)에 공급되는 작동유의 흐름을 제어하는 제어밸브유닛(40)을 포함하는 건설장비의 원격제어시스템으로,
작업자의 좌우방향 축(Y축)을 중심으로 한 팔 하박의 회전각도(β)와 팔 상박(UA)과 하박(LA) 사이의 각도(θ)와 손굽힘 각도(γ)와 작업자의 상하방향 축(Z축)을 중심으로 한 팔 하박(LA)의 회전 각도(φ) 중 적어도 어느 하나를 검출할 수 있도록 작업자의 신체에 마련된 복수의 센서(50)(60)(70); 및
제 1 위치에 있는 작업자의 팔이 제 2 위치로 이동하면 상기 제 2 위치에서의 각 회전 각도(β)(θ)(γ)(φ)가 상기 제 1 위치를 기준으로 설정된 기준 각도 범위(DZbm)(DZa)(DZbk)(DZs)를 벗어난 경우에만 상기 제 2 위치에서의 각 회전 각도(β)(θ)(γ)(φ)에 대한 신호를 상기 장비 제어부(90)로 전송하며, 일정 시간(Δt)(t0) 간격으로 상기 기준 각도 범위(DZbm)(DZa)(DZbk)(DZs)를 상기 제 2 위치에 근접되게 변경시키는 원격 제어부(80)를 포함하며,
상기 장비 제어부(90)는 상기 원격 제어부(80)로부터 전송된 각 회전 각도(β)(θ)(γ)(φ)에 대응되게 상기 작업장치(30) 및 상기 상부 선회체(20)가 구동될 수 있도록 상기 제어밸브유닛(40)에 제어신호를 출력하는 것을 특징으로 하는 건설장비의 원격제어시스템에 관한 것이다.
이와 같은 종래기술1,2는 건설장비로부터 원격지에 있는 작업자가 건설장비에 탑승없이 건설장비를 구동시킬 수 있게 되어 건설장비 운전의 안전성이 향상된다.
또한, 작업자의 신체 움직임에 따라 건설장비가 구동됨으로써, 건설장비를 용이하게 운전할 수 있게 된다.
또한, 신체의 움직임에 대한 일정한 기준 각도 범위를 설정하고 기준 각도 범위 내의 신체 움직임에 대해서는 건설장비가 구동되지 않도록 함으로써, 건설장비의 운전 안전성 및 신뢰성이 향상시킬 수 있다.
또한, 건설장비의 붐, 아암, 버켓 및 상부 선회체가 작업자의 팔의 움직임을 추종하여 구동시키는 절대좌표 제어모드에 의해 작업의 정밀도를 향상시킬 수 있음과 더불어 기준 각도 범위가 신체의 움직임 방향으로 이동하도록 제어하는 상대좌표 제어모드에 의해 건설 장비 구동의 편의성을 향상시킬 수 있게 된다.
특히, 상대좌표 제어모드에 의해 기준 각도 범위가 신체의 움직임 방향으로 이동시키도록 함으로써, 기준 각도 범위에 해당하는 자세를 기억할 필요가 없게 되어 건설 장비 구동의 안전성을 더욱 향상된다.
한편, 원격 제어부를 사람의 신체에 마련하고, 원격 제어부에 의해 센서로부터 감지된 신호들을 처리토록 함으로써, 장비 제어부의 최소한의 수정만으로 원격제어를 할 수 있게 되어, 종래의 장비에 원격제어시스템을 도입하는 것이 용이해진다.
그러나 이와 같은 종래기술1,2는 작업자의 팔에 여러 개의 센서(기울기 센서 등)를 부착하여 작업자의 팔의 상박(UA)의 각도, 하박(LA)의 회전각도 및 손등(BH)과 손가락(F) 사이의 각도를 감지하는 것이어서, 건설장비 조작을 위한 작업자의 팔 길이에 대응되는 공간 및 회전반경에 대응되는 공간이 확보되어야 하고, 이러한 공간에 작업자의 팔을 자유자재로 움직이는 것이므로 작업자의 팔을 지지할 수 있는 수단의 부재로 작업자는 팔의 피로감이 쉽게 찾아온다.
또한, 종래기술3은 손 형상을 추출하는 수단과 손의 형상으로부터 손의 위치 및 손이 가리키는 방향을 인식하는 손 지시 인식 수단에 의한 인식 결과에 근거하여 손이 가리키는 해당 전자기기의 동작을 제어하는 것을 특징으로 하는 것으로서, 손의 움직임과 유사하게 자원 개발 로봇을 구동하는 본 발명과는 차이가 있다.
본 발명은 손의 피로감이 덜하면서도 손의 움직임을 파악하는 구성의 비용을 절감시켜 경제성을 향상시킨 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템의 제공을 목적으로 한다.
상기와 같은 본 발명의 목적은, 설정 포인트에 마커가 구비된 마커 장갑과, 상기 마커의 주위에 복수개 배치되어 마커의 움직임을 촬영하는 카메라부를 포함하는 원격입력부와; 상기 카메라부의 촬영으로 생성된 영상정보에 마커의 영상정보를 추출하고, 마커의 3차원 위치 변화를 계산하며, 상기 마커의 3차원 위치 변화와 대응되는 자원 개발 로봇의 해당 관절의 각도를 계산하는 원격입력처리부와; 상기 원격입력처리부의 관절 각도 계산에 의한 관절 각도 계산값을 송신하는 무선송신부와; 상기 관절 각도 계산값을 수신하는 무선수신부와; 상기 관절각도 계산값을 기초로 자원 개발 로봇의 해당 관절에 각도를 제어하는 로봇 제어부; 및 상기 로봇 제어부에 의해 제어되는 것으로, 적어도 하나 이상의 관절을 갖으며 유체실린더에 의해 구동되는 작업장치를 포함하는 자원 개발 로봇;을 포함하여 구성되는 것을 특징으로 하는 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템에 의해 달성된다.
이와 같은 시스템에 있어서, 상기 원격입력부는, 상기 마커의 시인성 향상을 위해 카메라부가 촬영하는 방향의 맞은편에 어두운 계통의 색상으로 이루어진 패드가 배치되는 것을 특징으로 한다.
또한, 상기 자원 개발 로봇의 각 관절에는 관절각도를 측정하는 센서가 장착되고, 상기 로봇 제어부는 관절각도 계산값을 기초로 자원 개발 로봇의 해당 관절에 각도를 제어함에 있어, 상기 센서에 의한 해당 관절의 관절각도값을 피드백 받아 해당 관절의 각도 제어의 보정자료로 활용하는 것을 특징으로 한다.
본 발명에 의하면, 작업자가 마커 장갑을 끼운 후 패드에 지지된 상태로 움직여도 되기 때문에 종래에 비해 손의 피로감이 덜하다.
또한, 종래에는 각종 센서를 작업자의 팔에 직접 부착하여 작업자의 팔의 움직임을 감지하는 것이어서 전기를 이용하는 센서에 의한 전기적 영향을 받게 되지만, 본 발명은 장갑의 관절부위에 시인성이 좋은 색깔을 입힌 것이고 이를 카메라가 인식하는 방식이어서 전기적 영향이 전혀 없다.
또한, 손의 움직임을 파악하는 구성의 비용이 종래에 비해 절감되며, 손 인식에 의해 실제 구동되는 자원 개발 로봇의 각 관절에 장착된 센서의 측정값을 보정정보로 사용함으로써 각 관절의 정밀한 구동이 가능해진다.
도 1은 종래 건설장비의 원격 시스템을 나타낸 도면,
도 2는 본 발명에 따른 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템의 개략도,
도 3 내지 도 7은 상기 도 2의 시스템의 세부구성 및 동작관계를 나타낸 도면.
본 발명은 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템에 관한 것이다.
이를 위해 본 발명은, 설정 포인트에 마커(101)가 구비된 마커 장갑(110)과, 상기 마커(101)의 주위에 복수개 배치되어 마커(101)의 움직임을 촬영하는 카메라부를 포함하는 원격입력부(100)와;
상기 카메라부의 촬영으로 생성된 영상정보에 마커(101)의 영상정보를 추출하고, 마커(101)의 3차원 위치 변화를 계산하며, 상기 마커(101)의 3차원 위치 변화와 대응되는 자원 개발 로봇(600)의 해당 관절의 각도를 계산하는 원격입력처리부(200)와;
상기 원격입력처리부(200)의 관절 각도 계산에 의한 관절 각도 계산값을 송신하는 무선송신부(300)와;
상기 관절 각도 계산값을 수신하는 무선수신부(400)와;
상기 관절각도 계산값을 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어하는 로봇 제어부(500); 및
상기 로봇 제어부(500)에 의해 제어되는 것으로, 적어도 하나 이상의 관절을 갖으며 유체실린더에 의해 구동되는 작업장치를 포함하는 자원 개발 로봇(600);을 포함한다.
바람직하게는, 상기 원격입력부(100)는, 상기 마커(101)의 시인성 향상을 위해 카메라부가 촬영하는 방향의 맞은편에 어두운 계통의 색상으로 이루어진 패드(120)가 배치된다.
또한, 바람직하게는, 상기 자원 개발 로봇(600)의 각 관절에는 관절각도를 측정하는 센서(610)가 장착되고,
상기 로봇 제어부(500)는 관절각도 계산값을 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어함에 있어, 상기 센서(610)에 의한 해당 관절의 관절각도값을 피드백 받아 해당 관절의 각도 제어의 보정자료로 활용한다.
이하, 본 발명의 양호한 실시예를 도시한 첨부 도면들을 참조하여 상세히 설명한다.
본 발명은 도 2에 도시한 바와 같이 원격입력부(100)와, 원격입력처리부(200)와, 무선송신부(300), 무선수신부(400), 로봇제어부(500) 및 자원 개발 로봇(600)을 포함한다.
원격입력부(100)는 도 3에 도시한 바와 같이 마커 장갑(110)과, 카메라부와, 프레임그래버(140)를 포함한다.
마커 장갑(110)은 설정 포인트에 마커(101)가 구비된 구성이고, 카메라부는 마커 장갑(110)의 마커(101)의 움직임을 다각도로 촬영하기 위해 적어도 두 대의 카메라(131,132)를 구비한다. 프레임그래버(frame grabber)(140)는 상기 카메라(131,32)의 아날로그 영상 신호를 샘플당 정의된 비트로 디지털신호로 변환하는 구성이다.
한편, 마커 장갑(110)은 전체적으로 어두운 계통의 색감으로 이루어져 있고, 마커(101)는 상기 마커 장갑(110) 보다 상대적으로 밝은 계통의 색감으로 이루어진 것으로 마커 장갑(110)의 각 관절에 색상을 입힌 형태일 수 있다.
또한, 상기 마커(101)의 시인성 향상을 위해 카메라부가 촬영하는 방향의 맞은편에 어두운 계통의 색상으로 이루어진 패드(120)가 배치될 수 있다.
이와 같은 구성으로 이루어진 원격입력부(100)는 작업자가 마커 장갑(110)을 착용한 상태에서 움직이면 마커(101)가 움직이고 카메라(131,132)는 상기 마커(101)의 움직임을 촬영한다. 그리고 프레임그래버(140)는 카메라(131,132)의 영상신호를 샘플당 정의된 비트로 디지털신호 변환한 영상정보를 원격입력처리부(200)에 전달한다.
원격입력처리부(200)는 도 4에 도시한 바와 같이 원격입력부(100)의 상기 카메라부의 촬영으로 생성된 영상정보를 전달받아 이 영상정보에서 마커(101)의 영상정보를 추출하고, 마커(101)의 3차원 위치 변화를 계산하며, 상기 마커(101)의 3차원 위치 변화와 대응되는 자원 개발 로봇(600)의 해당 관절의 각도를 계산한다. 이와 같은 기능을 수행하기 위해 원격입력처리부(200)의 일예로는 컴퓨터일 수 있다.
여기서, 마커(101)의 영상정보 추출은 카메라(131,132)의 입력 영상으로부터 정규화된 RGB 영상 변환법과 같은 효율적인 영상처리기술을 적용하여 마커(101) 영상만을 추출하고 마커(101) 영상의 특징을 추출하는 것이고, 마커(101)의 3차원 위치 변화의 계산은 추출된 마커(101) 영상의 특징으로부터 적절한 계산처리를 통해 3차원 공간상에서 마커(101)의 위치를 인식하고 위치 변화를 계산함으로써 이루어진다.
무선송수신부(300,400)는 도 5에 도시한 바와 같이 상기 원격입력처리부(200)의 관절 각도 계산에 의한 관절 각도 계산값을 송신하고 수신하는 구성으로 원격조정하기 위해 구성된다.
로봇 제어부(500)는 도 6에 도시한 바와 같이 상기 무선수신부(400)로부터 관절각도 계산값을 전달받아 이를 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어하는 구성으로, 관절 각도 계산값을 전달 받으면 자원 개발 로봇(600)의 해당 관절에 각도 명령을 내리면 유압밸브제어기(510)가 유압밸브를 제어하며 유압밸브에 의해 자원 개발 로봇(600)의 관절이 움직이면 관절각도 측정 센서(610)가 관절각도를 측정하고 이를 로봇제어부(500)에 전송하면 로봇제어부(500)는 상기 센서(610)의 측정값을 보정정보로 활용하여 해당 관절 각도 명령을 재부여하거나 유지한다.
자원 개발 로봇(600)은 도 7에 도시한 바와 같이 상기 로봇 제어부(500)에 의해 제어되는 것으로, 적어도 하나 이상의 관절을 갖으며 유체실린더에 의해 구동되는 작업장치를 포함한다.
또한, 상기 자원 개발 로봇(600)의 각 관절에는 관절각도를 측정하는 센서(610)가 장착되고, 상기 로봇 제어부(500)는 원격입력처리부(200)로부터 전달받은 관절각도 계산값을 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어함에 있어, 상기 센서(610)에 의한 해당 관절의 관절각도값을 피드백 받아 해당 관절의 각도 제어의 보정자료로 활용한다.
그리고 자원 개발 로봇(600)의 작업장치는 붐대(620), 암대(630), 버켓(640)일 수 있고, 이러한 구성은 유체실린더(예컨대, 유압실린더(631,641))에 의해 구동되며, 유압실린더(631,641)는 유압밸브의 개폐로 구동된다.
그리고 센서(610)는 붐대(620) 및 암대(630)에 장착된 통상의 기울기센서(601,602)와, 버켓(640)의 회전축에 장착된 엔코더(603)일 수 있다.
본 발명에 따른 자원 개발 로봇은 본 출원인이 선 출원(출원번호: 10-2011-0084284)한 자세 측정 센서와 주위 환경 정보 수집장치를 이용하여 자원 개발 로봇을 원격으로 조정하는 자원 개발 시스템에 기재된 자원 개발 로봇과 동일하진 않지만 유사하기 때문에 본 발명에서의 자원 개발 로봇에 대한 부족한 설명은 상기 선 출원 건을 참조한다.
이상 본 발명이 양호한 실시예와 관련하여 설명되었으나, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 진정한 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 원격입력부 101: 마커
110: 마커장갑 120: 패드
200: 원격입력처리부 300: 무선송신부
400: 무선수신부 500: 로봇제어부
600: 자원 개발 로봇 610: 센서

Claims (3)

  1. 설정 포인트에 마커(101)가 구비된 마커 장갑(110)과, 상기 마커(101)의 주위에 복수개 배치되어 마커(101)의 움직임을 촬영하는 카메라부를 포함하는 원격입력부(100)와;
    상기 카메라부의 촬영으로 생성된 영상정보에 마커(101)의 영상정보를 추출하고, 마커(101)의 3차원 위치 변화를 계산하며, 상기 마커(101)의 3차원 위치 변화와 대응되는 자원 개발 로봇(600)의 해당 관절의 각도를 계산하는 원격입력처리부(200)와;
    상기 원격입력처리부(200)의 관절 각도 계산에 의한 관절 각도 계산값을 송신하는 무선송신부(300)와;
    상기 관절 각도 계산값을 수신하는 무선수신부(400)와;
    상기 관절각도 계산값을 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어하는 로봇 제어부(500); 및
    상기 로봇 제어부(500)에 의해 제어되는 것으로, 적어도 하나 이상의 관절을 갖으며 유체실린더에 의해 구동되는 작업장치를 포함하는 자원 개발 로봇(600);
    을 포함하여 구성되는 것을 특징으로 하는 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템.
  2. 제 1항에 있어서,
    상기 원격입력부(100)는,
    상기 마커(101)의 시인성 향상을 위해 카메라부가 촬영하는 방향의 맞은편에 어두운 계통의 색상으로 이루어진 패드(120)가 배치되는 것을 특징으로 하는 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템.
  3. 제 1항에 있어서,
    상기 자원 개발 로봇(600)의 각 관절에는 관절각도를 측정하는 센서(610)가 장착되고,
    상기 로봇 제어부(500)는 관절각도 계산값을 기초로 자원 개발 로봇(600)의 해당 관절에 각도를 제어함에 있어, 상기 센서(610)에 의한 해당 관절의 관절각도값을 피드백 받아 해당 관절의 각도 제어의 보정자료로 활용하는 것을 특징으로 하는 것을 특징으로 하는 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템.
KR1020110093226A 2011-09-16 2011-09-16 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템 KR101216065B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110093226A KR101216065B1 (ko) 2011-09-16 2011-09-16 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110093226A KR101216065B1 (ko) 2011-09-16 2011-09-16 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템

Publications (1)

Publication Number Publication Date
KR101216065B1 true KR101216065B1 (ko) 2012-12-27

Family

ID=47908349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110093226A KR101216065B1 (ko) 2011-09-16 2011-09-16 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템

Country Status (1)

Country Link
KR (1) KR101216065B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406855B1 (ko) 2013-04-17 2014-06-13 한국과학기술연구원 다차원 입력장치를 이용한 컴퓨터 시스템
KR101483597B1 (ko) 2013-02-08 2015-01-21 한국기술교육대학교 산학협력단 사용자 움직임을 이용한 장치 제어 시스템 및 방법
CN112567102A (zh) * 2018-08-10 2021-03-26 住友建机株式会社 挖土机
KR102456872B1 (ko) * 2021-12-30 2022-10-21 서울대학교산학협력단 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003278159A (ja) 2002-03-27 2003-10-02 Port & Airport Research Institute 遠隔操作による施工方法及びシステム
JP2005091085A (ja) 2003-09-16 2005-04-07 Gifu Univ 非接触型関節角度計測システム
JP2006167867A (ja) 2004-12-16 2006-06-29 Fuji Heavy Ind Ltd 遠隔操作装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003278159A (ja) 2002-03-27 2003-10-02 Port & Airport Research Institute 遠隔操作による施工方法及びシステム
JP2005091085A (ja) 2003-09-16 2005-04-07 Gifu Univ 非接触型関節角度計測システム
JP2006167867A (ja) 2004-12-16 2006-06-29 Fuji Heavy Ind Ltd 遠隔操作装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483597B1 (ko) 2013-02-08 2015-01-21 한국기술교육대학교 산학협력단 사용자 움직임을 이용한 장치 제어 시스템 및 방법
KR101406855B1 (ko) 2013-04-17 2014-06-13 한국과학기술연구원 다차원 입력장치를 이용한 컴퓨터 시스템
CN112567102A (zh) * 2018-08-10 2021-03-26 住友建机株式会社 挖土机
CN112567102B (zh) * 2018-08-10 2023-04-25 住友建机株式会社 挖土机
KR102456872B1 (ko) * 2021-12-30 2022-10-21 서울대학교산학협력단 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101978740B1 (ko) 원격조종시스템 및 그 제어방법
KR20110112375A (ko) 건설장비의 원격제어시스템 및 원격제어방법
KR101216065B1 (ko) 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템
JP6807280B2 (ja) 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法
JP5974668B2 (ja) マニピュレーションシステム
US20180311825A1 (en) Operation device for operating robot, robot system, and operation method
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
CN1785608A (zh) 多指机械灵巧手闭环实时动作控制平台
JPH09268602A (ja) 掘削機の制御装置
JP3809542B2 (ja) 遠隔操作による施工システム
US11422625B2 (en) Proxy controller suit with optional dual range kinematics
WO2021019948A1 (ja) 建設機械の位置特定システム
CN110549353B (zh) 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质
CN102242857A (zh) 一种显示器架
CN111386369B (zh) 工程机械
JP2016061054A (ja) ショベル及びショベルの支援装置
JP7172466B2 (ja) ツールセンターポイントの設定方法及び設定装置
JP3912584B2 (ja) 遠隔操作装置
JPH09109069A (ja) パワード・インテリジェント方法及びユニット
CN110539315B (zh) 基于虚拟现实控制的建筑机器人
CN207044177U (zh) 一种精密机器人控制系统
KR101493361B1 (ko) 굴삭기 버켓의 이동경로 추적제어시스템과 추적제어방법
KR102381067B1 (ko) 이동식 원격 작업 로봇, 그의 제어 시스템 및 제어 방법
CN114454176B (zh) 机器人的控制方法、控制装置、机器人和存储介质
KR20190091870A (ko) 모션센서와 vr을 활용한 로봇 제어 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 7