KR102013992B1 - 영상기반 비접촉식 촉각 센싱 시스템 - Google Patents

영상기반 비접촉식 촉각 센싱 시스템 Download PDF

Info

Publication number
KR102013992B1
KR102013992B1 KR1020170099137A KR20170099137A KR102013992B1 KR 102013992 B1 KR102013992 B1 KR 102013992B1 KR 1020170099137 A KR1020170099137 A KR 1020170099137A KR 20170099137 A KR20170099137 A KR 20170099137A KR 102013992 B1 KR102013992 B1 KR 102013992B1
Authority
KR
South Korea
Prior art keywords
image
magnitude
elastic
shape
force
Prior art date
Application number
KR1020170099137A
Other languages
English (en)
Other versions
KR20190014953A (ko
Inventor
도덕희
조경래
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020170099137A priority Critical patent/KR102013992B1/ko
Publication of KR20190014953A publication Critical patent/KR20190014953A/ko
Application granted granted Critical
Publication of KR102013992B1 publication Critical patent/KR102013992B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0019—End effectors other than grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

영상기반 비접촉식 촉각 센싱 시스템이 제시된다. 일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템은, 로봇 암(Arm); 상기 로봇 암에 구성되는 탄성부; 및 상기 탄성부를 촬영하여 상기 탄성부의 형상 변화에 대한 영상을 획득하는 촬영부를 포함하고, 상기 촬영부에서 획득한 상기 영상을 통해 상기 로봇 암이 대상물에 가하는 힘을 추정할 수 있다.

Description

영상기반 비접촉식 촉각 센싱 시스템{NON-CONTACT HAPTIC SENSING SYSTEM ON IMAGING}
아래의 실시예들은 영상기반 비접촉식 촉각 센싱 시스템에 관한 것으로, 더욱 상세하게는 영상인식 기술을 이용하여 로봇이 물체에 가하는 힘을 인지할 수 있는 영상기반 비접촉식 촉각 센싱 시스템에 관한 것이다.
로봇, 스마트 팩토리 등의 분야에서 다양한 물체를 집어 이동시켜야 하는 경우가 많다. 로봇 암(Arm)으로 변형되기 쉬운 물체(예컨대, 캔)를 집어 이동하는 작업의 경우, 로봇 암에 필요 이상의 힘이 작용하여 물체가 일그러지거나 필요 이하의 힘이 작용하여 로봇 암이 물체를 제대로 잡지 못하게 된다. 즉, 로봇 암이 적절한 힘으로 물체를 잡지 않으면 물체는 쉽게 변형되거나 물체에 대한 소기의 작업을 가할 수 없게 된다.
종래의 기계(로봇 등)에 의한 물체에 작용하는 힘을 측정하는 방식은 스트레인게이지 센서 시스템에 의한 방식이 대부분이다. 이 방식은 캔과 같은 물체를 로봇 암으로 집어 이동시킬 경우, 필요 이상의 힘에 의한 변형을 방지하기 위해서는 모든 물체에 스트레인게이지 센서를 모두 부착시켜야 한다.
종래에는 손가락 또는 손 전체로 물건을 잡은 일을 할 때 사용되는 그리퍼를 이용하여 물체를 잡을 때, 서보 모터에서 나오는 힘이 감속기를 통해 윔(worm)을 돌리고, 웜은 웜 휠(worm wheel)을 돌리어 지렛대 원리에 의해 물체를 잡는 방법을 사용하였다. 그러나, 이와 같은 로봇 손은 손가락에서 물체를 잡는 힘을 감지할 수가 없어 컵이나 계란, 캔 등 약간의 힘만 가해도 깨지거나 부서지는 물체를 잡기가 매우 어려우며, 서보 모터, 감속기 등을 사용하므로 그 무게가 무겁고 조립성이 떨어진다. 또한, 깨지거나 부서지는 물체를 안전하게 잡기 위해서는 스트레인게이지를 이용한 힘 감지 센서를 별도로 부착해야 하므로 제작 비용이 증가되는 등 여러 가지 문제점이 있다. 또한, 이들 센서들은 고온 또는 저온에서 작동이 취약한 결점을 지닌다.
유튜브에 공개된 영상기반 멀티모달 에어터치 힘촉각 센서(https ://www.youtube.com/watch?v=Pp8ZXrri7UQ)는 임의의 공기압을 유지하고 있는 공기주머니에 설치된 패턴의 변화를 소형 카메라를 이용하여 공기주머니에 가해진 힘의 크기와 방향을 센싱하는 기능을 가지고 있다. 이 기술은 일정한 온도 하에서 일정한 공기압을 유지해야만 힘의 크기와 방향을 파악할 수 있게 되는 기술로, 별도의 압력을 공급해야 하는 점, 작동 부위에 해당되는 공기주머니가 일정한 온도를 유지해야만 정상적 작동을 할 수 있는 한계를 지니고 있다.
한국공개특허 특1998-034073호는 이러한 힘 제어가 용이한 로봇 손에 관한 것으로, 보이스 코일을 이용하여 파지 동작 시, 그리퍼에 전달되는 힘의 세기를 조절하는 힘 제어가 용이한 로봇 손에 관한 기술을 기재하고 있다.
본 발명은 상기의 단점들인, 센싱부에 해당되는 물체와의 접촉부의 고온 또는 저온에 따른 스트레인게이지의 작동 한계를 해결하기 위하여 스트레인게이지 대신에 고온과 저온에도 견디면서 온도에 따른 탄성변형 특성을 정량화가 가능한 탄성체가 접촉부에 부착되어 있으며, 상기 공기주머니 터치식과 같이 일정 공기압 및 온도 유지의 필요성이 없는 탄성체가 접촉부에 부착되어 있다. 나아가, 탄성체인 접촉부의 온도에 따른 탄성변형 특성과 힘의 크기와 방향에 따른 탄성변형 특성을 모두 인공지능(AI)에 의한 인식이 가능한 점이 다른 점이다.
그리하여, 실시예들은 영상기반 비접촉식 촉각 센싱 시스템에 관하여 기술하며, 보다 구체적으로 영상인식 기술을 이용하여 로봇이 물체에 가하는 힘을 인지할 수 있는 영상기반 비접촉식 촉각 센싱 시스템을 제공한다.
실시예들은 로봇 암의 끝단부에 탄성부를 부착시켜 탄성부의 변형이나 패턴을 감지함으로써 물체에 작용하는 힘을 추정할 수 있으며, 물체에 별도의 센서 설치가 필요 없는 영상기반 비접촉식 촉각 센싱 시스템을 제공하는데 있다.
일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템은, 로봇 암(Arm); 상기 로봇 암에 구성되는 탄성부; 및 상기 탄성부를 촬영하여 상기 탄성부의 형상 변화에 대한 영상을 획득하는 촬영부를 포함하고, 상기 촬영부에서 획득한 상기 영상을 통해 상기 로봇 암이 대상물에 가하는 힘을 추정할 수 있다.
여기에서, 상기 촬영부로부터 전달 받은 상기 영상을 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석하는 영상 분석부를 더 포함할 수 있다.
상기 탄성부는, 상기 대상물을 파지 또는 가압하는 상기 로봇 암의 끝단부에 구성되어, 상기 로봇 암이 상기 대상물을 파지 또는 가압함에 따라 형상이 변형될 수 있다.
상기 탄성부는, 상기 로봇 암이 상기 대상물의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 고무 재질로 이루어질 수 있다.
상기 탄성부는, 고온 또는 저온 상태에서 상기 로봇 암이 상기 대상물의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 재질로 이루어져, 상기 대상물의 온도 및 상기 대상물의 주변 온도에 상관 없이 측정 가능하다.
상기 영상 분석부는, 실시간으로 변화하는 상기 탄성부의 형상을 저장한 상기 영상을 데이터베이스를 통해 3차원 해석하여, 상기 탄성부에 작용하는 힘의 크기와 방향을 즉시 추정할 수 있다.
상기 데이터베이스는, 상기 촬영부로부터 전달 받은 상기 영상을 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석한 결과를 저장할 수 있다.
상기 영상 분석부는, 상기 촬영부로부터 전달 받은 상기 영상을 실시간으로 분석하고, 분석 결과를 로봇에 전달하여 상기 로봇 암이 상기 대상물에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능으로 이루어질 수 있다.
다른 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템은, 대상물에 접촉되는 탄성부가 구성되는 구동부; 상기 탄성부를 촬영하여 상기 탄성부의 형상 변화에 대한 영상을 획득하는 촬영부; 및 상기 촬영부로부터 전달 받은 상기 영상을 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석하는 영상 분석부를 포함하여 이루어질 수 있다.
여기에서, 상기 탄성부는, 상기 대상물을 파지 또는 가압하는 상기 구동부의 끝단부에 구성되어, 상기 구동부가 상기 대상물을 파지 또는 가압함에 따라 형상이 변형될 수 있다.
상기 영상 분석부는, 실시간으로 변화하는 상기 탄성부의 형상을 저장한 상기 영상을 데이터베이스를 통해 3차원 해석하여, 상기 탄성부에 작용하는 힘의 크기와 방향을 즉시 추정할 수 있다.
상기 영상 분석부는, 상기 촬영부로부터 전달 받은 상기 영상을 실시간으로 분석하고, 분석 결과를 상기 구동부에 전달하여 상기 대상물에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능으로 이루어질 수 있다.
실시예들에 따르면 영상인식 기술을 이용하여 로봇이 물체에 가하는 힘을 인지할 수 있는 영상기반 비접촉식 촉각 센싱 시스템을 제공할 수 있다.
실시예들에 따르면 로봇 암의 끝단부에 탄성부를 부착시켜 탄성부의 변형이나 패턴을 감지함으로써 물체에 작용하는 힘을 추정할 수 있으며, 물체에 별도의 센서 설치가 필요 없는 영상기반 비접촉식 촉각 센싱 시스템을 제공할 수 있다.
도 1은 일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템을 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 탄성부에 작용하는 힘과 변형과의 관계를 설명하기 위한 도면이다.
도 3은 다른 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템을 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명의 실시예에서는 영상인식 기술을 이용하여 로봇이 물체에 가하는 힘을 인지할 수 있는 촉각기술을 제안한다.
로봇 암(Arm)이 캔 등과 같은 물체를 집을 경우 물체에 가하는 힘을 알 수 없다. 이에, 로봇 암의 끝단부에 고무 등과 같은 탄성부를 부착하여 이 탄성부의 형상 변화를 카메라의 영상인식에 의하여 물체에 가해지는 힘을 알 수 있게 된다.
이와 같이, 아래의 실시예들에 따르면 로봇 암의 끝단부에 탄성부를 부착시켜 탄성부의 변형이나 패턴을 감지함으로써, 물체에 부가되는 힘을 추정할 수 있으며, 이 때 물체에 별도의 센서 설치가 필요 없다.
이에 따라 로봇 암에 전달되는 힘을 용이하게 제어하여 부서지거나 깨지기 쉬운 물체들을 안전하게 집을 수 있다.
도 1은 일 실시예에 따른 영상기반 촉각 센싱 시스템을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템(100)은 로봇 암(Arm)(110), 로봇 암(110)에 구성되는 탄성부(120), 및 탄성부(120)를 촬영하여 탄성부(120)의 형상 변화에 대한 영상을 획득하는 촬영부(130)를 포함하여 이루어질 수 있고, 촬영부(130)에서 획득한 영상을 통해 로봇 암(110)이 대상물(O)에 가하는 힘을 추정할 수 있다.
여기에서, 촬영부(130)로부터 전달 받은 영상을 분석하여 탄성부(120)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석하는 영상 분석부(140)를 더 포함할 수 있다.
아래에서 일 실시예에 따른 영상기반 촉각 센싱 시스템의 각 구성에 대해 보다 구체적으로 설명한다.
일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템(100)은 로봇 암(110), 탄성부(120), 촬영부(130)를 포함하여 이루어질 수 있다. 실시예에 따라 영상기반 비접촉식 촉각 센싱 시스템(100)은 영상 분석부(140)를 더 포함하여 이루어질 수 있다.
로봇 암(110)은 대상물(또는 물체)(Object, O)을 집거나 가압할 수 있다. 여기에서 대상물(O)은 예를 들어 캔, 컵, 계란 등 다양한 물체 등이 될 수 있으며, 물체뿐 아니라 집거나 가압할 수 있는 다양한 대상이 될 수 있다.
탄성부(120)는 로봇 암(110)의 끝단부에 구성될 수 있고, 보다 구체적으로 대상물(O)을 집는 로봇 암(110)의 끝단부에 구성되어 대상물(O)과 직접 접촉될 수 있다. 여기에서 탄성부(120)는 대상물(O)과 직접 접촉되지 않더라도 로봇 암(110)에 구성되어 대상물(O)을 집거나 가압하는 경우 변형이 발생되는 위치에 구성될 수도 있다.
이러한 탄성부(120)는 대상물(O)을 파지 또는 가압하는 로봇 암(110)의 끝단부에 구성되어, 로봇 암(110)이 대상물(O)을 파지 또는 가압함에 따라 형상이 변형될 수 있다.
예컨대 탄성부(120)는 고무 재질 등의 탄성체로 이루어져, 로봇 암(110)이 대상물(O)의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형될 수 있다.
더욱이, 탄성부(120)는 고온 또는 저온 상태에서도 로봇 암(110)이 대상물(O)의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 재질로 이루어져, 대상물(O)의 온도 및 대상물(O)의 주변 온도에 상관 없이 측정 가능할 수 있다. 즉, 탄성부(120)의 재료를 고온 및 저온에 견디는 재료로 대체함으로써 피접촉되는 물체의 온도의 높고 낮음에 상관없이 적용 가능하게 된다.
촬영부(130)는 탄성부(120)를 촬영하여 탄성부(120)의 형상 변화에 대한 영상을 획득할 수 있다. 예컨대 촬영부(130)는 영상을 촬영하는 카메라가 될 수 있다. 더욱이 촬영부(130)는 고속 촬영이 가능한 고속 카메라로 이루어질 수 있다.
이러한 촬영부(130)에서 획득한 영상을 통해 로봇 암(110)이 대상물(O)에 가하는 힘을 추정할 수 있다.
그리고, 영상 분석부(140)는 촬영부(130)로부터 전달 받은 영상을 분석하여 탄성부(120)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석할 수 있다.
영상 분석부(140)는 실시간으로 변화하는 탄성부(120)의 형상을 저장한 영상을 데이터베이스를 통해 3차원 해석하여, 탄성부(120)에 작용하는 힘의 크기와 방향을 즉시 추정할 수 있다.
이 때, 데이터베이스는 촬영부(130)로부터 전달 받은 영상을 분석하여, 탄성부(120)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석한 결과를 저장할 수 있다.
더욱이, 영상 분석부(140)는 촬영부(130)로부터 전달 받은 영상을 실시간으로 분석하고, 분석 결과를 로봇에 전달하여 로봇 암(110)이 대상물(O)에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능(Artificial Intelligence, AI) 컴퓨터가 될 수 있다. 또한, 촬영부(130)와 영상 분석부(140)가 하나의 인공지능 센서(150)일 수도 있다. 또한, 일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템(100)은 하나의 인공지능 로봇으로 이루어지는 것도 가능하다. 즉, 탄성체인 접촉부의 온도에 따른 탄성변형 특성과 힘의 크기와 방향에 따른 탄성변형 특성을 인공지능에 의해 인식함으로써, 실시간으로 작용하는 힘의 크기 및 방향을 조절할 수 있다.
이와 같이 로봇 암(110)의 끝단부에 고무 재질 등의 탄성부(120)가 포획되어야 할 대상물(O)의 접촉부에 접촉되어, 임의의 힘으로 대상물(O) 잡으면 탄성부(120) 재질의 형상이 변화한다. 이러한 탄성부(120)의 변화한 형상을 담은 카메라 영상을 3차원적으로 분석함으로써 대상물에 작용하는 힘의 크기와 방향을 추정할 수 있게 된다.
따라서 로봇을 통해 변형되기 쉬운 대상물(예컨대, 캔)를 집어 이동하는 작업의 경우, 적절한 힘의 강도를 조절하지 못해 대상물이 일그러지거나 대상물을 제대로 잡지 못하게 되는 문제점을 해결할 수 있다. 즉, 로봇이 적절한 힘을 통해 대상물을 잡을 수 있도록 실시간으로 작용하는 힘의 크기 및 방향을 측정하여 피드백할 수 있다.
특히, 종래의 로봇 등을 통해 대상물에 작용하는 힘을 측정하는 방식은 스트레인게이지 센서를 대상물에 직접 부착시키는 방식이었으나, 실시예에 따르면 대상물마다 스트레인게이지 센서를 부착하지 않고 로봇 암의 끝단부에 고무 등의 탄성체를 부착하여 변형을 확인함으로써 용이하게 작용하는 힘의 크기를 측정할 수 있다.
도 2는 일 실시예에 따른 탄성부에 작용하는 힘과 변형과의 관계를 설명하기 위한 도면이다.
도 2를 참조하면, 대상물(210)에 접촉된 탄성부(220)는 작용하는 힘(Force)의 크기 및 힘의 방향에 따라 그 형상이 달라진다. 여기에서 탄성부(220)는 고무 등과 같이 탄성을 갖는 재질로 이루어져, 힘이 작용하는 방향과 크기에 따라 형상이 변형될 수 있다.
일례로, 탄성부(220)의 좌측 상부 방향에서 힘이 작용하는 경우, 탄성부(220)는 우측 하부 방향으로 밀리며 찌그러지는 형상으로 변형될 수 있다. 이 때 작용하는 힘의 크기 및 탄성부(220)의 재질에 따라 찌그러지는 정도가 결정될 수 있다.
다른 예로, 탄성부(220)의 좌측 방향에서 힘이 작용하는 경우, 탄성부(220)는 우측 방향으로 밀리며 찌그러지는 형상으로 변형될 수 있고, 작용하는 힘의 크기 및 탄성부(220)의 재질에 따라 찌그러지는 정도가 결정될 수 있다.
또 다른 예로, 좌측 하부 방향에서 힘이 작용하는 경우, 탄성부(220)는 우측 상부 방향으로 밀리며 찌그러지는 형상으로 변형될 수 있다. 마찬가지로, 작용하는 힘의 크기 및 탄성부(220)의 재질에 따라 찌그러지는 정도가 결정될 수 있다.
이러한 작용하는 힘의 크기 및 방향에 따라 변형되는 탄성부(220)의 형상을 카메라 등의 촬영부를 이용하여 촬영할 수 있다. 이에 따라 촬영부를 통해 탄성부(220)의 달라지는 형상을 영상화 할 수 있다. 그리고, 영상을 분석하여 탄성부(220)의 변화에 따른 힘의 방향 및 힘의 크기를 데이터베이스화 할 수 있다. 이어서 실시간으로 변화하는 탄성부(220)의 형상을 담은 카메라 영상을 3차원 해석함으로써 힘의 크기와 방향을 즉시에 추정할 수 있게 된다.
한편, 탄성부(120)는 고온 또는 저온 상태에서도 로봇 암(110)이 대상물(210)의 파지 또는 가압 시 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 재질로 이루어져, 대상물(210)의 온도 및 대상물(210)의 주변 온도에 상관 없이 측정 가능할 수 있다. 즉, 탄성부(120)의 재료를 고온 및 저온에 견디는 재료로 대체함으로써 피접촉되는 대상물의 온도의 높고 낮음에 상관없이 적용 가능하게 된다.
이와 같은 방식은 스트레인게이지 방식의 한계인 고온부 혹은 극저온부에서 전자장비가 작동하지 못하는 특징을 극복할 수 있게 한다. 즉, 탄성부(220)의 재료를 고온 및 저온에 견디는 재료로 대체함으로써 피접촉되는 대상물(210)의 온도의 높고 낮음에 상관없이 적용 가능하게 된다.
실시예들에 따르면 영상인식 기술을 이용하여 로봇이 대상물(210)에 가하는 힘을 인지할 수 있는 영상기반 비접촉식 촉각 센싱 시스템을 제공할 수 있다. 또한, 로봇 암의 끝단부에 탄성부(220)를 부착시켜 탄성부(220)의 변형이나 패턴을 감지함으로써 대상물(210)에 작용하는 힘을 추정할 수 있으며, 대상물(210)에 별도의 센서 설치가 필요 없다.
도 3은 다른 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템을 나타내는 블록도이다.
도 3을 참조하면, 다른 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템은 대상물에 접촉되는 탄성부(312)가 구성되는 구동부(311), 탄성부(312)를 촬영하여 탄성부(312)의 형상 변화에 대한 영상을 획득하는 촬영부(321), 및 촬영부(321)로부터 전달 받은 영상을 분석하여, 탄성부(312)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석하는 영상 분석부(322)를 포함하여 이루어질 수 있다.
여기에서 다른 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템은 도 1 및 도 2에서 설명한 일 실시예에 따른 영상기반 비접촉식 촉각 센싱 시스템의 구성과 동일하거나 유사할 수 있다.
구동부(311)는 다양한 대상물을 집거나 가압할 수 있는 것으로, 기계(310)의 구동부(311)가 될 수 있으며, 예를 들어 로봇 암이 될 수 있다.
이러한 구동부(311)는 대상물에 접촉되는 탄성부(312)가 구성되며, 탄성부(312)는 대상물을 파지 또는 가압하는 구동부(311)의 끝단부에 구성됨으로써, 구동부(311)가 대상물을 파지 또는 가압함에 따라 형상이 변형될 수 있다.
예컨대, 탄성부(312)는 고무 재질로 이루어져, 구동부(311)가 대상물의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형될 수 있다.
더욱이, 탄성부(312)는 고온 또는 저온 상태에서도 구동부(311)가 대상물의 파지 또는 가압 시, 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 재질로 이루어져, 대상물의 온도 및 대상물의 주변 온도에 상관 없이 측정 가능할 수 있다. 즉, 탄성부(312)의 재료를 고온 및 저온에 견디는 재료로 대체함으로써 피접촉되는 대상물의 온도의 높고 낮음에 상관없이 적용 가능하게 된다.
촬영부(321)는 탄성부(312)를 촬영하여 탄성부(312)의 형상 변화에 대한 영상을 획득할 수 있다. 예컨대, 촬영부(321)는 영상을 촬영하는 카메라가 될 수 있다.
이러한 촬영부(321)에서 획득한 영상을 통해 구동부(311)가 대상물에 가하는 힘을 추정할 수 있다.
영상 분석부(322)는 촬영부(321)로부터 전달 받은 영상을 분석하여 탄성부(312)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석할 수 있다.
영상 분석부(322)는 실시간으로 변화하는 탄성부(312)의 형상을 저장한 영상을 데이터베이스를 통해 3차원 해석하여, 탄성부(312)에 작용하는 힘의 크기와 방향을 즉시 추정할 수 있다.
이 때, 데이터베이스는 촬영부(321)로부터 전달 받은 영상을 분석하여, 탄성부(312)의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석한 결과를 저장할 수 있다.
더욱이, 영상 분석부(322)는 촬영부(321)로부터 전달 받은 영상을 실시간으로 분석하고, 분석 결과를 구동부(311)에 전달하여 대상물에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능 컴퓨터가 될 수 있다. 또한, 촬영부(321)와 영상 분석부(322)가 하나의 인공지능 센서(320)일 수도 있다.
실시예들에 따르면 센싱부에 해당되는 물체와의 접촉부의 고온 또는 저온에 따른 스트레인게이지의 작동 한계를 해결하기 위하여 스트레인게이지 대신에 고온과 저온에도 견디면서 온도에 따른 탄성변형 특성을 정량화가 가능한 탄성체가 접촉부에 부착됨으로써, 탄성체의 변형을 관찰하여 작용하는 힘의 크기 및 방향을 확인할 수 있으며, 이를 통해 작용하는 힘의 크기 및 방향을 조절할 수 있다. 나아가, 실시예들에 따르면 탄성체인 접촉부의 온도에 따른 탄성변형 특성과 힘의 크기와 방향에 따른 탄성변형 특성을 모두 인공지능(Artificial Intelligence, AI)에 의한 인식이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 영상기반 비접촉식 촉각 센싱 시스템에 있어서,
    로봇 암(Arm);
    상기 로봇 암의 끝단부에 구성되어 상기 로봇 암이 대상물을 파지 또는 가압함에 따라 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 고무 재질로 이루어진 탄성부;
    고속 촬영이 가능한 고속 카메라를 이용하여 상기 탄성부를 촬영하여 상기 탄성부의 형상 변화에 대한 영상을 획득하는 촬영부; 및
    상기 촬영부로부터 전달 받은 상기 영상을 3차원적으로 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 추정하는 영상 분석부
    를 포함하고,
    상기 탄성부는,
    고온 및 저온에 견디는 고무 재질로 이루어져, 상기 대상물의 온도 및 상기 대상물의 주변 온도에 상관 없이 파지 또는 가압함에 따라 형상이 변형되며,
    상기 영상 분석부는,
    실시간으로 변화하는 상기 탄성부의 형상을 저장한 상기 영상을 데이터베이스를 통해 3차원 해석하여, 상기 탄성부에 작용하는 힘의 크기와 방향을 즉시 추정하며, 상기 촬영부로부터 전달 받은 상기 영상을 실시간으로 분석하고, 분석 결과를 로봇에 전달하여 상기 로봇 암이 상기 대상물에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능(Artificial Intelligence, AI)으로 이루어져, 상기 탄성부의 온도에 따른 탄성변형 특성과 힘의 크기 및 방향에 따른 탄성변형 특성을 상기 인공지능에 의해 인식하여 실시간으로 작용하는 힘의 크기 및 방향을 조절하며,
    상기 데이터베이스는,
    상기 촬영부로부터 전달 받은 상기 영상을 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석한 결과를 저장하고,
    상기 촬영부에서 획득한 상기 영상을 통해 상기 로봇 암이 대상물에 가하는 힘을 추정하는, 영상기반 비접촉식 촉각 센싱 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 영상기반 비접촉식 촉각 센싱 시스템에 있어서,
    대상물에 접촉되어 상기 대상물을 파지 또는 가압함에 따라 힘이 작용하는 방향과 크기에 따라 형상이 변형되는 고무 재질로 이루어진 탄성부가 구성되는 구동부;
    고속 촬영이 가능한 고속 카메라를 이용하여 상기 탄성부를 촬영하여 상기 탄성부의 형상 변화에 대한 영상을 획득하는 촬영부; 및
    상기 촬영부로부터 전달 받은 상기 영상을 3차원적으로 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 추정하는 영상 분석부
    를 포함하고,
    상기 탄성부는,
    상기 대상물을 파지 또는 가압하는 상기 구동부의 끝단부에 구성되어, 상기 구동부가 상기 대상물을 파지 또는 가압함에 따라 형상이 변형되며, 고온 및 저온에 견디는 고무 재질로 이루어져, 상기 대상물의 온도 및 상기 대상물의 주변 온도에 상관 없이 파지 또는 가압함에 따라 형상이 변형되며,
    상기 영상 분석부는,
    실시간으로 변화하는 상기 탄성부의 형상을 저장한 상기 영상을 데이터베이스를 통해 3차원 해석하여, 상기 탄성부에 작용하는 힘의 크기와 방향을 즉시 추정하며, 상기 촬영부로부터 전달 받은 상기 영상을 실시간으로 분석하고, 분석 결과를 구동부에 전달하여 상기 대상물에 가하는 힘의 방향 및 크기를 조절하도록 하는 인공지능(Artificial Intelligence, AI)으로 이루어져, 상기 탄성부의 온도에 따른 탄성변형 특성과 힘의 크기 및 방향에 따른 탄성변형 특성을 상기 인공지능에 의해 인식하여 실시간으로 작용하는 힘의 크기 및 방향을 조절하며,
    상기 데이터베이스는,
    상기 촬영부로부터 전달 받은 상기 영상을 분석하여, 상기 탄성부의 변형된 형상에 따라 힘이 작용하는 방향과 크기를 분석한 결과를 저장하고,
    상기 촬영부에서 획득한 상기 영상을 통해 상기 구동부가 대상물에 가하는 힘을 추정하는, 영상기반 비접촉식 촉각 센싱 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
KR1020170099137A 2017-08-04 2017-08-04 영상기반 비접촉식 촉각 센싱 시스템 KR102013992B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170099137A KR102013992B1 (ko) 2017-08-04 2017-08-04 영상기반 비접촉식 촉각 센싱 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170099137A KR102013992B1 (ko) 2017-08-04 2017-08-04 영상기반 비접촉식 촉각 센싱 시스템

Publications (2)

Publication Number Publication Date
KR20190014953A KR20190014953A (ko) 2019-02-13
KR102013992B1 true KR102013992B1 (ko) 2019-08-23

Family

ID=65366890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170099137A KR102013992B1 (ko) 2017-08-04 2017-08-04 영상기반 비접촉식 촉각 센싱 시스템

Country Status (1)

Country Link
KR (1) KR102013992B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084030A (ko) * 2015-01-05 2016-07-13 한국기계연구원 미끄럼 지수 계측이 가능한 유체형 촉각센서 및 이를 이용한 미끄럼 지수 계측 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド

Also Published As

Publication number Publication date
KR20190014953A (ko) 2019-02-13

Similar Documents

Publication Publication Date Title
Calandra et al. The feeling of success: Does touch sensing help predict grasp outcomes?
Dong et al. Improved gelsight tactile sensor for measuring geometry and slip
US9144908B2 (en) Manipulator device
US10800033B2 (en) Robot control apparatus, robot control method, robot system, and storage medium
KR100693262B1 (ko) 화상 처리 장치
Ward-Cherrier et al. Tactile manipulation with a TacThumb integrated on the open-hand M2 gripper
KR20190073282A (ko) 파지 장치, 학습 장치, 학습 완료 모델, 파지 시스템, 판정 방법, 및 학습 방법
US20080027582A1 (en) Optical Tactile Sensor, Sensing Method, Sensing System, Object Operation Force Controlling Method, Object Operation Force Controlling Device, Object Holding Force Controlling Method, and Robot Hand
Payeur et al. Intelligent haptic sensor system for robotic manipulation
Nozu et al. Robotic bolt insertion and tightening based on in-hand object localization and force sensing
JP2013184279A5 (ko)
CN106232305A (zh) 抓持器指部、抓持器末端和抓持器爪以及机器人系统
US10036628B2 (en) Measuring device for an optical measuring system
US20190376860A1 (en) Visuo-haptic sensor
Molchanov et al. Contact localization on grasped objects using tactile sensing
JP6232273B2 (ja) 指先接触状態測定装置
US11396103B2 (en) Method and apparatus for manipulating a tool to control in-grasp sliding of an object held by the tool
Denei et al. On the development of a tactile sensor for fabric manipulation and classification for industrial applications
De Clercq et al. A soft barometric tactile sensor to simultaneously localize contact and estimate normal force with validation to detect slip in a robotic gripper
Andrussow et al. Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation
KR102013992B1 (ko) 영상기반 비접촉식 촉각 센싱 시스템
US7929120B2 (en) Apparatus for controlling optical fringe generation member based on detected optical fringe and method therefor
Funabashi et al. Object picking using a two-fingered gripper measuring the deformation and slip detection based on a 3-axis tactile sensing
Weerasinghe et al. Development and characterization of a soft tactile sensor array used for parallel grippers
TWI780887B (zh) 機器人系統以及拾取方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant