KR101820241B1 - 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 - Google Patents

그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR101820241B1
KR101820241B1 KR1020160092581A KR20160092581A KR101820241B1 KR 101820241 B1 KR101820241 B1 KR 101820241B1 KR 1020160092581 A KR1020160092581 A KR 1020160092581A KR 20160092581 A KR20160092581 A KR 20160092581A KR 101820241 B1 KR101820241 B1 KR 101820241B1
Authority
KR
South Korea
Prior art keywords
coordinate system
camera
coordinate
gripper
coordinate value
Prior art date
Application number
KR1020160092581A
Other languages
English (en)
Other versions
KR20170101754A (ko
Inventor
하철근
티 창 찬
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Publication of KR20170101754A publication Critical patent/KR20170101754A/ko
Application granted granted Critical
Publication of KR101820241B1 publication Critical patent/KR101820241B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법에 대한 것이다. 본 발명에 따른 그리퍼를 이용한 물체의 움직임 추정 장치는 카메라를 이용하여 그리퍼에 의해 파지된 물체와 레이저 센서에서 출력되는 광선이 포함되어 촬영된 이미지를 수집하는 이미지수집부; 상기 수집된 이미지를 이용하여 상기 물체의 윤곽선을 추정하고 상기 추정된 윤곽선에 대한 다수의 모서리점과 상기 윤곽선과 상기 광선이 교차되는 다수의 교차점을 추출하고, 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 상기 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 상기 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정하는 좌표 값 설정부; 상기 카메라 좌표계와 상기 물체 좌표계를 이용하여 상기 카메라와 상기 물체 사이의 상대적 위치를 연산하고, 상기 설정된 좌표 값을 이용하여 상기 물체의 좌표 값을 연산하는 연산부; 및 상기 파지력의 변화에 따른 상기 이미지의 프레임별 상기 물체의 좌표 값 변화 여부를 추적하여, 상기 좌표 값의 변화가 감지되면 상기 물체의 움직임이 발생한 것으로 추정하는 움직임 추정부를 포함한다.
이와 같이 본 발명에 따르면, 그리퍼에 파지된 물체의 미끄러짐(슬립)을 방지할 수 있는 효과가 있다.

Description

그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법{APPARATUS FOR MOTION ESTIMATION OF OBJECT USING GRIPPER AND METHOD THEREOF}
본 발명은 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 센서를 이용하여 그리퍼에 파지된 물체의 미끄러짐이 발생하기 직전을 캐치하는 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법에 관한 것이다.
산업발전과 더불어 임금 상승과 노동시간의 단축을 요구하는 분위기에 따라 현장에 로봇을 적용한 자동화 시스템이 확산되는 추세이다. 이러한 로봇은 크게 제조 로봇과 비제조 로봇으로 분류할 수 있으며, 용접 로봇, 자동차 조립 로봇 등이 제조 로봇은 속하고, 농업, 어업, 건설용 로봇 비제조 로봇은 등이 속하는 것으로 분류할 수 있다. 이와 같이 분류된 로봇에서 빠질 수 없는 핵심 기술 및 부품이 그리퍼(GRIPPER)이다.
여기서, 그리퍼(GRIPPER)는 물체를 잡기 위해 메커니즘에 의해 구동되는 기계적 집게를 이용한 말단장치를 지칭한다. 이러한 그리퍼는 제조 로봇 분야에서 가장 활발하고 다양하게 사용되고 있으며, 그리퍼의 능력치가 제조 로봇의 스펙을 결정한다고 해도 과언이 아니다.
일반적으로 그리퍼의 집게는 실제로 대상 물체에 접촉하는 그리퍼의 부속물로 그리퍼에 부착할 수 있는 형태와 그리퍼와 통합된 모듈 형태가 있다.
이러한 그리퍼의 기능은 다양한 형태로 입력되는 전기적 에너지를 물체를 잡을 수 있는 운동을 할 수 있도록 변환하는 것이다. 따라서 그리퍼는 집게를 열고 닫는 기능이 있어야 하고, 잡고 있는 물체가 떨어지지 않고 유지될 만큼의 충분한 힘이 있어야 한다.
그리퍼를 이용하여 물체를 잡고 유지하는 방법은 크게 두 가지로 나뉜다. 첫 번째 방법은 집게 사이에 물체를 위치시키는 물리적인 제약조건을 이용하는 것이다. 이와 같은 방법은 집게가 어느 정도까지 작업 대상 물체를 둘러싸야 하며 이것은 일반적으로 집게의 접촉표면의 작업 대상 부품의 기하학적인 형상에 따라 설계되어야 가능해진다.
두 번째 방법은 집게와 작업 대상 물체 사이의 마찰력을 이용하는 것이다. 이와 같은 접근 방법은 작업주기 동안 그리퍼가 물체를 잡고 있을 때에 발생할 수 있는 중력, 가속력 등과 같은 외압에도 강인하게 물체를 잡고 유지할 수 있는 충분한 힘을 집게에 공급해야 한다.
이와 같은 그리퍼는 작업하고자 하는 특정 대상 물체를 찾아 인식하고 이를 적당한 파지력으로 파지하되, 물체의 소성 변형을 발생시키지 않는 파지력의 범위 내에서 파지해야 하기 때문에 그리퍼에 파지된 물체의 미끄러짐을 추정하여 작업주기 동안 안정적으로 적당한 파지력을 유지할 수 있도록 해주는 장치의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1294250호(2013. 08. 07. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 센서를 이용하여 그리퍼에 파지된 물체의 미끄러짐이 발생하기 직전을 캐치하는 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치는, 설정 위치에 고정된 카메라를 이용하여 설정 위치에 고정된 그리퍼에 의해 파지된 물체와 설정 위치에 고정된 레이저 센서에서 출력되는 광선이 포함되어 촬영된 이미지를 수집하는 이미지수집부; 상기 수집된 이미지를 이용하여 상기 물체의 윤곽선을 추정하고 상기 추정된 윤곽선에 대한 다수의 모서리점과 상기 윤곽선과 상기 광선이 교차되는 다수의 교차점을 추출하고, 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 상기 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 상기 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정하는 좌표 값 설정부; 상기 카메라 좌표계와 상기 물체 좌표계를 이용하여 상기 카메라와 상기 물체 사이의 상대적 위치를 연산하고, 상기 설정된 좌표 값을 이용하여 상기 물체의 좌표 값을 연산하는 연산부; 및 상기 파지력의 변화에 따른 상기 이미지의 프레임별 상기 물체의 좌표 값 변화 여부를 추적하여, 상기 좌표 값의 변화가 감지되면 상기 물체의 움직임이 발생한 것으로 추정하는 움직임 추정부를 포함한다.
또한, 상기 좌표 값의 변화가 감지되기 직전의 이미지 프레임에 대응하는 파지력을 상기 물체에 대한 적정 파지력으로 선정하는 파지력 선정부; 및 상기 선정된 적정 파지력으로 상기 그리퍼를 제어하는 파지력 제어부를 더 포함할 수 있다.
또한, 상기 연산부는, 다음의 식에 의해 상기 물체의 좌표 값을 연산할 수 있다.
Figure 112016070929244-pat00001
여기서,
Figure 112016070929244-pat00002
는 상기 카메라 좌표계 시점의 상기 물체의 좌표이고,
Figure 112016070929244-pat00003
은 상기 카메라 좌표계 시점의 상기 물체의 각 모서리점 및 교차점의 좌표 값이며,
Figure 112016070929244-pat00004
은 상기 물체 좌표계에서의 각 모서리점 및 교차점의 좌표 값이다.
또한, 상기 움직임 추정부는, 다음의 식에 의해 상기 카메라 좌표계의 중심점 좌표를 산출하고, 산출된 상기 카메라 좌표계의 중심점 좌표를 이용하여 상기 물체의 움직임을 추정할 수 있다.
Figure 112016070929244-pat00005
,
Figure 112016070929244-pat00006
여기서,
Figure 112016070929244-pat00007
는 상기 카메라 좌표계의 중심점 좌표이고,
Figure 112016070929244-pat00008
는 i에 대한 상기 카메라 X, Y, Z축 성분 값 좌표 값이고, 상기 i는 상기 물체의 각 모서리점에 대한 인덱스이고,
Figure 112016070929244-pat00009
은 상기 카메라에서 본 상기 물체의 슬립이고, K는 현재 이미지의 프레임이며, K-1은 이전의 이미지 프레임이다.
또한, 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에 의해 수행되는 물체의 움직임 추정 방법은, 상기 움직임 추정 장치는 설정 위치에 고정된 카메라를 이용하여 설정 위치에 고정된 그리퍼에 의해 파지된 물체와 설정 위치에 고정된 레이저 센서에서 출력되는 광선이 포함되어 촬영된 이미지를 수집하는 단계; 상기 수집된 이미지를 이용하여 상기 물체의 윤곽선을 추정하고 상기 추정된 윤곽선에 대한 다수의 모서리점과 상기 윤곽선과 상기 광선이 교차되는 다수의 교차점을 추출하는 단계; 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계, 및 상기 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 상기 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정하는 단계; 상기 카메라 좌표계와 상기 물체 좌표계를 이용하여 상기 카메라와 상기 물체 사이의 상대적 위치를 연산하고, 상기 설정된 좌표 값을 이용하여 상기 물체의 좌표 값을 연산하는 단계; 및 상기 파지력의 변화에 따른 상기 이미지의 프레임별 상기 물체의 좌표 값 변화 여부를 추적하여, 상기 좌표 값의 변화가 감지되면 상기 물체의 움직임이 발생한 것으로 추정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 비전 카메라와 레이저 센서를 이용하여 그리퍼에 파지되어 있는 물체의 미끄러짐이 발생하기 직전을 캐치하여 연산된 파지력으로 그리퍼의 파지력을 제어함으로써 그리퍼에 파지된 물체의 미끄러짐(슬립)을 방지할 수 있는 효과가 있다.
또한, 본 발명에 따르면 그리퍼에 파지되는 물체가 변경되는 경우에도 미끄러짐이 발생하는 범위를 추정하고, 미끄러짐이 발생하기 직전의 파지력을 신속하게 연산 제어함으로써 작업 효율을 개선시킬수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에서 수집된 이미지를 이용하여 다수의 모서리점 및 다수의 교차점을 추출하는 과정을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에서 카메라 및 레이저 센서를 이용하여 측정한 물체의 위치 및 좌표 값을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 방법의 동작 흐름을 도시한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1을 통해 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치(100)는 이미지 수집부(110), 좌표 값 설정부(120), 연산부(130), 움직임 추정부(140), 파지력 선정부(150) 및 파지력 제어부(160)를 포함한다.
먼저, 이미지 수집부(110)는 카메라(200)를 이용하여 그리퍼(400)에 의해 파지된 물체와 레이저 센서(300)에서 출력되는 광선이 포함되어 촬영된 이미지를 수집한다.
이때, 카메라(200)는 고정된 위치에서 그리퍼(400)에 파지된 물체를 촬영하며, 상세히는 그리퍼(400)의 파지력에 따라 물체의 움직임 즉, 미끄러짐 여부를 판단하기 위한 것으로 CCD 카메라가 적용될 수 있다.
또한, 레이저 센서(300)는 고정된 위치에서 물체와의 거리를 측정하기 위한 것으로 광선을 출력하는 라인 레이저 센서(300)가 적용될 수 있다.
마지막으로 그리퍼(400)는 고정된 위치에서 물체를 파지하기 위한 집게(410)가 구비되며, 물체가 파지된 상태를 벗어나지 않는 동시에 외관의 변형없이 파지될 수 있는 최적의 파지력 범위를 연산하여 연산된 파지력 범위에 따라 집게(410)가 벌어지거나 오므려지도록 구동 제어할 수 있다.
그리고 좌표 값 설정부(120)는 이미지 수집부(110)로부터 수집된 이미지를 이용하여 물체의 윤곽선을 추정하고 추정된 윤곽선에 대한 다수의 모서리점과, 윤곽선과 광선이 교차되는 다수의 교차점을 추출하고, 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정한다.
도 2는 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에서 수집된 이미지를 이용하여 다수의 모서리점 및 다수의 교차점을 추출하는 과정을 나타낸 도면이다.
도 2의 (a)는 그리퍼(400)를 통해 파지하고자 하는 물체(500)를 나타낸 것으로, 윤곽선의 추정이 용이하도록 사각형의 표시지(510)가 부착될 수도 있다. 그리고, 도 2의 (b)는 이미지 수집부(110)로부터 수집된 원본 이미지를 나타낸 것이며, 도 2의 (c)는 좌표 값 설정부(120)가 도 2의 (b)로부터 물체(500)의 윤곽선을 추정하고, 추정된 윤곽선에 대한 다수의 모서리점(4점)과, 윤곽선과 광선이 교차되는 다수의 교차점(2점)을 추출하는 과정을 나타낸 것이다.
도 3은 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치에서 카메라 및 레이저 센서를 이용하여 측정한 물체의 위치 및 좌표 값을 나타낸 도면이다.
본 발명의 실시예에서는 카메라(200), 레이저 센서(300) 및 그리퍼(400)가 설정 위치에 각각 고정되어 있으므로, 원점 camO을 기준으로 하는 카메라 좌표계(camX, camY, camZ), 원점 IPO를 기준으로 하는 카메라 필름상(Image Plane, IP) 이미지 좌표계(IPX, IPY, 1) 및 원점 LaserO를 기준으로 하는 레이저 센서 좌표계(LaserX, LaserY, LaserZ) 및 원점 TgO를 기준으로 하는 물체 좌표계(TgX, TgY, TgZ)는 도 3에서와 같이 기 정의되어 있는 것이 바람직하다.
이때, IP는 카메라 필름상에 맺힌 물체(500)의 윤곽선 및 광선을 나타내며, Tg는 실제의 물체(500) 윤곽선 및 광선을 나타낸다.
그리고 연산부(130)는 카메라 좌표계(camX, camY, camZ)와 레이저 센서 좌표계(LaserX, LaserY, LaserZ) 및 물체 좌표계(TgX, TgY, TgZ)를 이용하여 카메라(200)와 물체(500) 사이의 상대적 위치를 연산하고, 설정된 좌표 값을 이용하여 물체(500)의 좌표 값을 연산한다.
아래의 수학식 1 내지 13을 참고하여 자세히 설명하기로 한다.
먼저, 카메라 필름상 이미지 좌표계(IPX, IPY, 1)와 카메라 좌표계(camX, camY, camZ) 사이의 관계는 아래의 수학식 1과 같이 표현된다.
Figure 112016070929244-pat00010
여기서, S는 카메라 필름상 이미지 좌표계(IPX, IPY, 1)에서의 위치벡터이고, w는 카메라 필름 상에 대한 스케일 파라미터이다.
이때, 카메라 좌표계(camX, camY, camZ) 내에서의 한점은 다음과 같이 나타낼 수 있다.
Figure 112016070929244-pat00011
그리고, 카메라 필름상 이미지 좌표계(IPX, IPY, 1) 및 물체 좌표계(TgX, TgY, TgZ) 사이의 관계는 아래의 수학식 2와 같이 표현된다.
Figure 112016070929244-pat00012
이때, 도 3에서와 같이
Figure 112016070929244-pat00013
으로 물체 면(object palne)을 선택하여 다음과 같이 표현할 수도 있다.
Figure 112016070929244-pat00014
여기서, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, t는 좌표 간 이동 벡터이다.
이때, 카메라 좌표계(camX, camY, camZ)와 물체 좌표계(TgX, TgY, TgZ) 사이의 상대 위치를 결정하기 위해서는
Figure 112016070929244-pat00015
과,
Figure 112016070929244-pat00016
를 찾아야 하는데, 여기서,
Figure 112016070929244-pat00017
과
Figure 112016070929244-pat00018
는 물체 좌표계(TgX, TgY, TgZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 변환으로, 각각 회전 행렬과 이동 벡터이다.
또한, 다음은 이미지 처리 후 실제 물체(500)의 4개의 모서리 점에 대한 각각의 좌표로서, 물체(500)의 너비는 rh이고, 높이는 h이며 물체(500)가 TgZ 평면에 놓여져 있을 때, 호모지니어스 좌표계에서 물체(500)의 4개의 모서리점은 다음과 같이 나타낼 수 있다.
Figure 112016070929244-pat00019
여기서, TgPi는 물체(500)의 모서리점의 X, Y, Z의 좌표 성분 즉, 좌표 값이고, T는 전치행렬을 만드는 기호이다.
그리고, 카메라 필름상 이미지 좌표계 IPPi와, 카메라 좌표계 CamPi는 각각 다음과 같다.
Figure 112016070929244-pat00020
여기서, i는 각각의 모서리에 대한 인덱스이다.
연산부(130)는 다음의 수학식 3과 같이 카메라 좌표계(camX, camY, camZ)에서의 모서리에 대한 좌표 값을 연산할 수 있다.
Figure 112016070929244-pat00021
연산부(130)는 다음의 수학식 4와 같이 물체 좌표계(TgX, TgY, TgZ)에서의 모서리에 대한 좌표 값을 연산할 수 있다.
Figure 112016070929244-pat00022
이때,
Figure 112016070929244-pat00023
은 같은 직선상에 있지 않게 때문에 매트릭스
Figure 112016070929244-pat00024
는 벡터 공간에서 그 자신에 1대 1로 대응하는 사상인 비특이 사상(寫像)이다.
Figure 112016070929244-pat00025
연산부(130)는 카메라 필름상 이미지 좌표계(
Figure 112016070929244-pat00026
)를 이용하여 다음의 수학식 6과 같이 연산할 수 있다.
Figure 112016070929244-pat00027
그리고, 카메라 좌표계(camX, camY, camZ)와 레이저 좌표계(LaserX, LaserY, LaserZ)에서 P6의 좌표는 아래와 같이 표현할 수 있다.
Figure 112016070929244-pat00028
연산부(130)는 수학식 7을 이용하여 카메라 좌표계(camX, camY, camZ)에서 P6의 좌표를 연산할 수 있다.
Figure 112016070929244-pat00029
연산부(130)는 카메라 좌표계(camX, camY, camZ)와 레이저 좌표계(LaserX, LaserY, LaserZ)에서 P6의 좌표와 수학식 7을 이용하여 수학식 8을 연산할 수 있다.
Figure 112016070929244-pat00030
또한, 수학식 8을 수학식 9와 같이 표현할 수도 있다.
Figure 112016070929244-pat00031
Figure 112016070929244-pat00032
그리고, 카메라 좌표계(camX, camY, camZ)에서의 물체 면은 다음과 같이 결정된다.
Figure 112016070929244-pat00033
여기서, m, n, p는 각각 물체면을 표현하는 일반 상수이다.
연산부(130)는 수학식 10에 의해 카메라 좌표계(camX, camY, camZ)에서의 좌표 값을 연산할 수 있다.
Figure 112016070929244-pat00034
수학식 10을 카메라 좌표계(camX, camY, camZ)에서 물체 면과 결합하여 다음의 수학식 11을 얻을 수 있다.
Figure 112016070929244-pat00035
여기서, 연산부(130)는 수학식 6과 수학식 11을 함께 계산하면
Figure 112016070929244-pat00036
를 연산할 수 있다.
Figure 112016070929244-pat00037
with
Figure 112016070929244-pat00038
즉, 수학식 12에 수학식 6을 대입하여
Figure 112016070929244-pat00039
을 연산할 수 있고 윤곽선의 모서리점은 수학식 10에 의해 연산할 수 있다.
따라서, 물체(500)의 실제 크기는 다음과 같이 표현될 수 있다.
Figure 112016070929244-pat00040
또한, 연산부(130)는 수학식 13으로부터 카메라 좌표계(camX, camY, camZ)와 물체 좌표계(TgX, TgY, TgZ) 사이의 관계식을 산출할 수 있다.
Figure 112016070929244-pat00041
여기서,
Figure 112016070929244-pat00042
는 카메라 좌표계 시점의 물체(500)의 좌표이고,
Figure 112016070929244-pat00043
은 카메라 좌표계(camX, camY, camZ) 시점의 물체(500)의 각 모서리점 및 교차점의 좌표 값이며,
Figure 112016070929244-pat00044
은 물체 좌표계(TgX, TgY, TgZ)에서의 각 모서리점 및 교차점의 좌표 값이다.
그리고 움직임 추정부(140)는 그리퍼(400)에 가해지는 파지력의 변화에 따른 이미지의 프레임별 물체(500)의 좌표 값 변화 여부를 추적하여, 좌표 값의 변화가 감지되면 물체(500)의 움직임이 발생한 것으로 추정한다.
자세히는, 움직임 추정부(140)는, 수학식 14에 의해 카메라 좌표계(camX, camY, camZ)의 중심점 좌표(
Figure 112016070929244-pat00045
)를 산출하고, 산출된 중심점 좌표(
Figure 112016070929244-pat00046
)를 이용하여 물체(500)의 움직임을 추정한다.
Figure 112016070929244-pat00047
또한, 움직임 추정부(140)는 이전의 이미지 프레임(K-1)과 현재 이미지의 프레임(K), 카메라 좌표계(camX, camY, camZ)를 이용하여 수학식 15와 같이 각각의 방향에 대한 슬립 발생 유무를 판단할 수 있다.
Figure 112016070929244-pat00048
Figure 112016070929244-pat00049
,
Figure 112016070929244-pat00050
,
이를 종합하면, 수학식 16과 같이 표현된다.
Figure 112016070929244-pat00051
여기서,
Figure 112016070929244-pat00052
는 상기 카메라 좌표계의 중심점 좌표이고,
Figure 112016070929244-pat00053
는 i에 대한 상기 카메라 X, Y, Z축 성분 값 좌표 값이고, 상기 i는 상기 물체의 각 모서리점에 대한 인덱스이고,
Figure 112016070929244-pat00054
은 상기 카메라 시점에서의 상기 물체의 슬립이고, K는 현재 이미지의 프레임이며, K-1은 이전의 이미지 프레임이다.
그리고 파지력 선정부(150)는 움직임 추정부(140)에 의해 좌표 값의 변화가 감지되기 직전의 이미지 프레임에 대응하는 파지력을 해당 물체(500)에 대한 적정 파지력으로 선정한다.
마지막으로 파지력 제어부(160)는 파지력 선정부(150)에서 선정된 적정 파지력으로 그리퍼(400)를 제어한다.
이하에서는 도 4를 통해 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 방법에 대하여 설명한다.
도 4는 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 그리퍼를 이용한 물체의 움직임 추정 장치(100)의 이미지 수집부(110)는 설정 위치에 고정된 카메라(200)를 이용하여 설정 위치에 고정된 그리퍼(400)에 의해 파지된 물체와 설정 위치에 고정된 레이저 센서(300)에서 출력되는 광선이 포함되어 촬영된 이미지를 수집한다(S410).
그리고 좌표 값 설정부(120)는 S410 단계에서 수집된 이미지를 이용하여 물체(500)의 윤곽선을 추정하고 추정된 윤곽선에 대한 다수의 모서리점과, 윤곽선과 광선이 교차되는 다수의 교차점을 추출한다(S420).
그리고 연산부(130)는 기 정의된 카메라 좌표계(camX, camY, camZ), 카메라 필름상 이미지 좌표계(IPX, IPY, 1) 및 물체(500)의 어느 하나의 모서리를 기준으로 하는 물체 좌표계(TgX, TgY, TgZ)를 이용하여 S420 단계에서 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정한다(S430).
그리고 연산부(130)는 카메라 좌표계(camX, camY, camZ)와 물체 좌표계(TgX, TgY, TgZ)를 이용하여 카메라(200)와 물체(500) 사이의 상대적 위치를 연산하고, S430 단게에서 설정된 좌표 값을 이용하여 물체(500)의 좌표 값을 연산한다(S440).
이때, 카메라(200)와 물체(500) 사이의 상대적 위치와, 물체(500)의 좌표 값을 연산하는 방법에 관하여는 상기의 수학식 1 내지 13을 이용하여 연산할 수 있으며, 상세한 설명은 앞서 상술한 바 중복하여 언급하지 않기로 한다.
그리고 움직임 추정부(140)는 그리퍼(400)에 가해지는 파지력의 변화에 따른 이미지의 프레임별 물체(500)의 좌표 값 변화 여부를 추적하여(S450), 추적 결과 좌표 값의 변화가 감지되면 물체(500)의 움직임이 발생한 것으로 추정한다(S460).
이때, 물체(500)의 움직임 발생 유무 추정에 관하여는 움직임 추정에 관하여는 상기의 수학식 14 내지 16을 이용하여 연산할 수 있으며, 마찬가지로 상세한 설명에 관하여는 중복 언급하지 않기로 한다.
그리고 파지력 선정부(150)는 S440 단계에서 연산된 좌표 값의 변화가 감지되기 직전의 이미지 프레임에 대응하는 파지력을 해당 물체(500)에 대한 적정 파지력으로 선정한다(S470).
마지막으로 파지력 제어부(160)는 S470 단계에서 선정된 적정 파지력으로 그리퍼(400)를 제어한다(S480).
상술한 바와 같이, 본 발명의 실시예에 따른 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법은, 비전 카메라와 레이저 센서를 이용하여 그리퍼에 파지되어 있는 물체의 미끄러짐이 발생하기 직전을 캐치하여 연산된 파지력으로 그리퍼의 파지력을 제어함으로써 그리퍼에 파지된 물체의 미끄러짐(슬립)을 방지할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 그리퍼에 파지되는 물체가 변경되는 경우에도 미끄러짐이 발생하는 범위를 추정하고, 미끄러짐이 발생하기 직전의 파지력을 신속하게 연산 제어함으로써 작업 효율을 개선시킬수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 물체의 움직임 추정 장치 110 : 이미지 수집부
120 : 좌표 값 설정부 130 : 연산부
140 : 움직임 추정부 150 : 파지력 선정부
160 : 파지력 제어부 200 : 카메라
300 : 레이저 센서 400 : 그리퍼
410 : 집게 500 : 물체
510 : 표시지

Claims (8)

  1. 설정 위치에 고정된 그리퍼, 카메라 및 레이저 센서를 이용한 물체의 움직임 추정 장치에 있어서,
    상기 카메라를 이용하여 상기 그리퍼에 의해 파지된 물체와 상기 레이저 센서에서 출력되는 광선이 포함되어 촬영된 이미지를 수집하는 이미지수집부;
    상기 수집된 이미지를 이용하여 상기 물체의 윤곽선을 추정하고 상기 추정된 윤곽선에 대한 다수의 모서리점과 상기 윤곽선과 상기 광선이 교차되는 다수의 교차점을 추출하고, 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 상기 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 상기 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정하는 좌표 값 설정부;
    상기 카메라 좌표계와 상기 물체 좌표계를 이용하여 상기 카메라와 상기 물체 사이의 상대적 위치를 연산하고, 상기 설정된 좌표 값을 이용하여 상기 물체의 좌표 값을 연산하는 연산부; 및
    파지력의 변화에 따른 상기 이미지의 프레임별 상기 물체의 좌표 값 변화 여부를 추적하여, 상기 좌표 값의 변화가 감지되면 상기 물체의 움직임이 발생한 것으로 추정하는 움직임 추정부를 포함하는 물체의 움직임 추정 장치.
  2. 제1항에 있어서,
    상기 좌표 값의 변화가 감지되기 직전의 이미지 프레임에 대응하는 파지력을 상기 물체에 대한 적정 파지력으로 선정하는 파지력 선정부; 및
    상기 선정된 적정 파지력으로 상기 그리퍼를 제어하는 파지력 제어부를 더 포함하는 물체의 움직임 추정 장치.
  3. 제1항에 있어서,
    상기 연산부는,
    다음의 식에 의해 상기 물체의 좌표 값을 연산하는 물체의 움직임 추정 장치:
    Figure 112016070929244-pat00055

    여기서,
    Figure 112016070929244-pat00056
    는 상기 카메라 좌표계 시점의 상기 물체의 좌표이고,
    Figure 112016070929244-pat00057
    은 상기 카메라 좌표계 시점의 상기 물체의 각 모서리점 및 교차점의 좌표 값이며,
    Figure 112016070929244-pat00058
    은 상기 물체 좌표계에서의 각 모서리점 및 교차점의 좌표 값이다.
  4. 제3항에 있어서,
    상기 움직임 추정부는,
    다음의 식에 의해 상기 카메라 좌표계의 중심점 좌표를 산출하고, 산출된 상기 카메라 좌표계의 중심점 좌표를 이용하여 상기 물체의 움직임을 추정하는 물체의 움직임 추정 장치:
    Figure 112017121532679-pat00059
    ,
    Figure 112017121532679-pat00060

    여기서,
    Figure 112017121532679-pat00061
    는 상기 카메라 좌표계의 중심점 좌표이고,
    Figure 112017121532679-pat00062
    는 i에 대한 상기 카메라 X, Y, Z축 성분 값 좌표 값이고, 상기 i는 상기 물체의 각 모서리점에 대한 인덱스이고,
    Figure 112017121532679-pat00063
    은 카메라 시점에서의 상기 물체의 슬립이고, K는 현재 이미지의 프레임이며, K-1은 이전의 이미지 프레임이다.
  5. 그리퍼를 이용한 물체의 움직임 추정 장치에 의해 수행되는 물체의 움직임 추정 방법에 있어서,
    상기 움직임 추정 장치는 설정 위치에 고정된 카메라를 이용하여 설정 위치에 고정된 그리퍼에 의해 파지된 물체와 설정 위치에 고정된 레이저 센서에서 출력되는 광선이 포함되어 촬영된 이미지를 수집하는 단계;
    상기 수집된 이미지를 이용하여 상기 물체의 윤곽선을 추정하고 상기 추정된 윤곽선에 대한 다수의 모서리점과 상기 윤곽선과 상기 광선이 교차되는 다수의 교차점을 추출하는 단계;
    기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계, 및 상기 물체의 어느 하나의 모서리를 기준으로 하는 물체 좌표계를 이용하여 상기 추출된 다수의 모서리점 및 다수의 교차점에 대한 각각의 좌표 값을 설정하는 단계;
    상기 카메라 좌표계와 상기 물체 좌표계를 이용하여 상기 카메라와 상기 물체 사이의 상대적 위치를 연산하고, 상기 설정된 좌표 값을 이용하여 상기 물체의 좌표 값을 연산하는 단계; 및
    파지력의 변화에 따른 상기 이미지의 프레임별 상기 물체의 좌표 값 변화 여부를 추적하여, 상기 좌표 값의 변화가 감지되면 상기 물체의 움직임이 발생한 것으로 추정하는 단계를 포함하는 물체의 움직임 추정 방법.
  6. 제5항에 있어서,
    상기 좌표 값의 변화가 감지되기 직전의 이미지 프레임에 대응하는 파지력을 상기 물체에 대한 적정 파지력으로 선정하는 단계; 및
    상기 선정된 적정 파지력으로 상기 그리퍼를 제어하는 단계를 더 포함하는 물체의 움직임 추정 방법.
  7. 제5항에 있어서,
    상기 연산하는 단계는,
    다음의 식에 의해 상기 물체의 좌표 값을 연산하는 물체의 움직임 추정 방법:
    Figure 112016070929244-pat00064

    여기서,
    Figure 112016070929244-pat00065
    는 상기 카메라 좌표계 시점의 상기 물체의 좌표 값이고,
    Figure 112016070929244-pat00066
    은 상기 카메라 좌표계 시점의 상기 물체의 각 모서리점 및 교차점의 좌표 값이며,
    Figure 112016070929244-pat00067
    은 상기 물체 좌표계에서의 각 모서리점 및 교차점의 좌표 값이다.
  8. 제7항에 있어서,
    상기 상기 물체의 움직임이 발생한 것으로 추정하는 단계는,
    다음의 식에 의해 상기 카메라 좌표계의 중심점 좌표를 산출하고, 산출된 상기 카메라 좌표계의 중심점 좌표를 이용하여 상기 물체의 움직임 발생 여부를 추정하는 물체의 움직임 추정 방법:
    Figure 112017121532679-pat00068
    ,
    Figure 112017121532679-pat00069

    여기서,
    Figure 112017121532679-pat00070
    는 상기 카메라 좌표계의 중심점 좌표이고,
    Figure 112017121532679-pat00071
    는 i에 대한 상기 카메라 X, Y, Z축 성분 값 좌표 값이고, 상기 i는 상기 물체의 각 모서리점에 대한 인덱스이고,
    Figure 112017121532679-pat00072
    은 카메라 시점에서의 상기 물체의 슬립이고, K는 현재 이미지의 프레임이며, K-1은 이전의 이미지 프레임이다.
KR1020160092581A 2016-02-29 2016-07-21 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 KR101820241B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160024424 2016-02-29
KR20160024424 2016-02-29

Publications (2)

Publication Number Publication Date
KR20170101754A KR20170101754A (ko) 2017-09-06
KR101820241B1 true KR101820241B1 (ko) 2018-01-18

Family

ID=59925205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160092581A KR101820241B1 (ko) 2016-02-29 2016-07-21 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101820241B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230042877A (ko) * 2021-09-23 2023-03-30 성균관대학교산학협력단 의류 원단 핸들링 자동화 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102288278B1 (ko) * 2019-12-30 2021-08-09 한국산업기술대학교산학협력단 비전 센서를 이용한 기하학 특징 기반 파지점 도출 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047563A (ja) * 1998-07-24 2000-02-18 Dainippon Printing Co Ltd 物体の把持動作シミュレーション装置
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047563A (ja) * 1998-07-24 2000-02-18 Dainippon Printing Co Ltd 物体の把持動作シミュレーション装置
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230042877A (ko) * 2021-09-23 2023-03-30 성균관대학교산학협력단 의류 원단 핸들링 자동화 장치 및 방법
KR102597704B1 (ko) * 2021-09-23 2023-11-01 성균관대학교산학협력단 의류 원단 핸들링 자동화 장치 및 방법

Also Published As

Publication number Publication date
KR20170101754A (ko) 2017-09-06

Similar Documents

Publication Publication Date Title
US11597085B2 (en) Locating and attaching interchangeable tools in-situ
Magrini et al. Estimation of contact forces using a virtual force sensor
US9352467B2 (en) Robot programming apparatus for creating robot program for capturing image of workpiece
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2021167060A (ja) 人間の実演によるロボット教示
US11833697B2 (en) Method of programming an industrial robot
CN111958604A (zh) 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法
Borum et al. State estimation and tracking of deforming planar elastic rods
Burrell et al. Towards a cooperative robotic system for autonomous pipe cutting in nuclear decommissioning
KR101820241B1 (ko) 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법
Zhou et al. 3d pose estimation of robot arm with rgb images based on deep learning
Olsson et al. Force control and visual servoing using planar surface identification
WO2021117479A1 (ja) 情報処理装置、方法およびプログラム
JP2006021300A (ja) 推定装置および把持装置
JP2020529932A (ja) 少なくとも１つの作業ステップを実行するためのハンドリング装置を有するハンドリングアセンブリ、方法及びコンピュータプログラム
West et al. A vision-based positioning system with inverse dead-zone control for dual-hydraulic manipulators
US20230150142A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP2018179859A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
JP2020142323A (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
Axelrod et al. Improving hand-eye calibration for robotic grasping and manipulation
US20220228851A1 (en) Measurement device, measurement method, and computer-readable storage medium storing a measurement program
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right