KR102550237B1

KR102550237B1 - 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법

Info

Publication number: KR102550237B1
Application number: KR1020220106560A
Authority: KR
Inventors: 유재천
Original assignee: 성균관대학교산학협력단
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2023-06-30
Also published as: WO2024043684A1

Abstract

본 발명은 터치 패드(touch pad) 와 터치펜(touch pen)을 이용하여 손가락의 구부러진 양을 측정하는 벤딩(bending) 센싱 수단을 로봇 핸드 내부에 집적화하고, 파지(grasping)할 물체 모양에 따라 로봇 손가락의 파지 제스처(grasping gesture)를 생성하기 위해 현재의 손가락 벤딩량을 센싱하여 이를 기초로 로봇 손가락 구동부를 피드백 제어하는 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법을 제공한다.

Description

터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법 {TOUCH PAD BASED BENDING SENSOR APPARATUS AND ROBOT HAND CONTROL METHOD FOR GRASPING GESTURE USING THE SAME}

본 발명은 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법에 관한 것으로, 더욱 상세하게는 터치 패드(touch pad) 와 전자펜을 이용하여 손가락의 구부러진 양을 측정하는 벤딩(bending) 센싱 수단을 로봇 핸드의 내부에 집적화하고, 파지(grasping)할 물체 모양에 따라 로봇 손가락의 파지 제스처(grasping gesture)를 생성하기 위해 현재의 손가락 벤딩량을 센싱하고, 이를 기초로 로봇 손가락 구동부를 피드백 제어하는 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법에 관한 것이다.

최근 기술 발달에 따라 인간을 대신하여 위험하거나 반복적인 작업을 수행하기 위한 도구로서 로봇의 연구 개발이 전 세계적으로 활발히 진행되고 있다. 이러한 로봇들은 개발 초기에는 단순 반복 작업을 수행하도록 설계가 되었으나, 최근 인공지능 기술의 급속한 발전에 따라 더욱 복잡한 작업을 수행할 수 있는 진화된 형태의 인공 지능형 로봇의 개발이 요구되고 있고, 상기와 같은 복잡한 작업을 수행하는 인공 지능형 로봇의 경우, 로봇이 인간의 감각기관과 유사한 감각센서를 이용하여 외부 환경을 스스로 인식하여 판단하고 그에 따라 필요한 행동을 스스로 하는 것이 요구된다.

이러한 인공 지능형 로봇과 관련하여 가장 중요한 기술 중 하나는 로봇 손가락 제어기술이다. 로봇 손가락 제어기술은 로봇이 파지할 물체의 모양을 인식하는 기술, 현재의 로봇 손가락의 구부러진 량을 감지하는 벤딩센싱 기술 및 인식된 물체 모양에 따라 로봇 손가락의 파지 제스처(grasping gesture)를 생성하기 위한 로봇 손가락 구동 기술을 포함하며, 이러한 기술들이 총체적으로 결합되어 로봇 핸드 내부에 집적화 되어 유기적으로 연결되어 동작 하는 것이 중요하다.

공지된 로봇 손가락의 구부러진 량을 감지하는 벤딩 센싱 기술로는 저항 스트레인 게이지(resistance strain gauge) 및 플렉스(flex) 센서가 공지 기술로 잘 알려져 있다. 저항 스트레인 게이지형 벤딩센서는 인장이나 압력을 받아 스트레인(strain)이 발생할 때 기하학적 길이나 두께 변화 차이로 저항 변화가 유도되는 스트레인 효과(strain effect) 통해 구부러짐의 변화를 측정하고, 플렉스 센서는 손가락 길이 모양으로 길게 만들어진 플라스틱 표면에 카본층을 형성하고, 구부러지는 정도에 따라 저항의 변화를 측정하여 벤딩량을 측정하게 된다.

그러나 이러한 기존의 벤딩 센서들은 정밀하고 보다 민감한 벤딩량 측정을 달성 하기 위해, 로봇 손가락의 외부 표피상에 손가락 방향으로 길게 늘어선 방식으로 센서를 배치 및 부착하여 사용하고 있어, 로봇 손가락의 외부 표면에 벤딩 센서와 함께 각종 관련 전기 연결선들이 복잡하게 뒤엉킨 상태로 노출되어, 로봇 손가락이 인간 손가락과는 완전히 다른 이질적인 외관 구조 갖을 수밖에 없을 뿐만 아니라, 로봇 손가락 표피상에 노출된 벤딩 센서가 외부 물체와 잦은 접촉후에는 마모되거나 오염되어 오작동할 우려가 있다. 특히, 벤딩 센서가 비나 습기에 노출될 경우 쉽게 고장날 우려가 있다.

따라서, 외부 물체와의 접촉에 따른 마모와 오염의 위험을 피하면서, 파지할 물체 모양에 따라 로봇 손가락의 파지 제스처를 생성 할 수 있는 로봇 손가락의 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법의 개발이 필요한 실정이다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 당겨졌을때 손가락의 구부러지도록 하는 힘줄 와이어 (tendon wire), 상기 힘줄 와이어 과 연동하는 터치펜(touch pen) 및 로봇 손가락의 구부러진 양을 측정하는 터치패드로 구성된 벤딩 센싱수단을 로봇 핸드의 내부에 집적화하고, 파지하고자 하는 물체 모양에 따라 로봇 손가락의 파지 제스처(grasping gesture)를 생성하기 위해 로봇 손가락 벤딩량을 센싱하여 로봇 손가락 구동부를 피드백 제어하는 터치패드 기반의 손가락 벤딩 센서 장치를 제공하는 것을 목적으로 한다.

또한, 상기 손가락 벤딩 센서 장치를 이용한 로봇 핸드 파지 제스처 제어 방법을 제공하는 것을 목적으로 한다.

또한, 상기 손가락 벤딩 센서 장치를 포함하는, 인공 지능 로봇을 제공하는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은 모터 회전에 의해 로봇 손가락의 벤딩(bending)을 제어하는 로봇 손가락 구동부; 상기 로봇 손가락의 벤딩량을 검출하기 위한 벤딩 센싱 수단; 및 상기 로봇 손가락의 벤딩량을 산출하기 위한 벤딩 계산부; 를 포함하고, 상기 벤딩 센싱 수단은, 상기 로봇 손가락의 벤딩에 따라 전진 내지 후진 이동하는 전자펜; 및 상기 전자펜의 전진 내지 후진 이동에 따라 선(line)이 그려지는 터치 패드; 를 포함하는 것인, 손가락 벤딩 센서 장치를 제공한다.

본원의 일 구현예에 따르면, 상기 로봇 손가락 구동부는, 모터의 회전축에 연결된 리드 스크류; 상기 리드 스크류의 회전 방향에 따라 상기 리드 스크류 축 방향으로 전진 또는 후진 이동하는 와이어 너트; 및 한쪽 말단부는 로봇 손가락의 핑거팁 부위에 고정 되어 연결되고, 다른 말단부는 상기 와이어 너트에 고정 연결 되어, 상기 와이어 너트의 전진 또는 후진 이동에 따라 상기 로봇 손가락의 벤딩량이 조절되도록 하는 힘줄 와이어를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

상기 로봇 손가락 구동부는 모터 회전에 의해 상기 리드 스크류, 와이어 너트, 및 힘줄 와이어를 구동하여 로봇 손가락의 벤딩을 제어할 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 와이어 너트에 상기 전자펜이 물리적으로 결합 합체되어, 상기 와이어 너트의 전진 또는 후진 이동에 따라 상기 전자펜이 같이 연동하여 전진 또는 후진 이동하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 전자펜은 상기 터치 패드와 접촉 시, 수직 압력 방향에 대해 전자펜에게 탄성적 수축을 제공하는 스프링 핀; 및 상기 터치 패드 상에 전기적 특성 변화를 유도하는 전하 컬렉터; 를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 전자펜은 상기 터치 패드와 접촉 시, 수직 압력 방향에 대해 상기 전자펜에게 탄성적 수축을 제공하고, 동시에 상기 터치 패드 상에 전기적 특성 변화를 유도하는 도체 스프링 코일을 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 전자펜은 전원선의 접지단자 또는 마이너스 단자에 전기적으로 연결되는 것일 수 있으나, 이에 제한되는 것은 아니다.

본 발명에서 상기 터치 패드는 상기 전자펜이 접촉하는 위치를 인식할 수 있는 입력장치로서, 전자펜의 원점(출발점)은 로봇 손가락이 최대로 펼쳐졌을 때의 터치 패드 상의 전자펜의 위치를 의미한다. 즉, 로봇 손가락이 구부러질수록 전자펜은 전자펜의 원점으로부터 멀어진다.

본 발명에서는 상기 전자펜이 전진 이동하는 동안에 터치패드 스크린상에 선(line)이 그려지고, 상기 전자펜이 후진 이동하는 동안에는 후진 이동량만큼 상기 그려진 선이 지워지도록 프로그램 처리를 하여, 터치패드 스크린상에 남아있는 선의 직선 길이가 전자펜의 원점으로부터 전자펜의 현재 위치까지의 길이를 나타내도록 할수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 벤딩 계산부는 상기 터치 패드 상에서 상기 전자펨의 원점으로부터 상기 전자펜의 현재 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본 발명의 터치 패드는 정전용량방식 (Capacitive)을 사용할 수 있으나, 이에 제한되는 것은 아니다.

본 발명의 터치 패드는 스크린상에 전자펜이 직접 닿지 않아도 공중에 있는 터치펜의 위치와 움직임을 인식하는 것이 선호되나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 손가락 벤딩 센서 장치는 로봇 손바닥면에 파지할 물체를 인식하기 위한 이미지센서를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 로봇 손가락 구동부는 상기 이미지 센서로부터의 영상을 기반으로 파지할 물체 모양을 인식하고, 상기 벤딩 계산부로부터 산출된 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처(robot hand grasping gesture)를 생성하기 위한 제어 신호를 상기 모터에 공급하는 로봇 손 제스처 산출부를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

상기 로봇 손 제스처 산출부는 인공지능 신경망에 의해 구현하는 것이 선호 된다.

본 발명의 로봇 손가락의 악력(grasping　power)은 4개 손가락에 대한 벤딩량 정보 및 각각의 손가락의 벤딩 구동부에서 소모되는 전류합의 가중치 벡터(vector) 합으로서 계산하나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 로봇 손가락은 로봇 손가락 벤딩 후 로봇 손가락을 원래 상태로 펴기 위한 복귀 와이어, 스프링, 고무줄, 및 이들의 조합들로 이루어진 군에서 선택되는 복원수단을 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

또한, 본원의 제 2 측면은 본원의 제 1 측면에 따른 손가락 벤딩 센서 장치에 의해 수행되는 로봇 핸드 파지 제스처 제어 방법에 있어서, 상기 로봇 핸드 파지 제스처 제어 방법은, 로봇 손 제스처 산출부에 의해 이미지센서로부터의 영상을 기반으로 파지할 물체 모양을 인식하는 단계; 벤딩 계산부에 의해 터치 패드 상에 그려진 전자펜의 원점으로부터 현재 전자펜의 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출하는 단계; 및 상기 로봇 손 제스처 산출부에 인식된 파지할 물체 모양과 상기 벤딩 계산부로부터 파악된 로봇 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정하여 로봇 손가락의 벤딩을 제어하는 단계; 를 포함하는 것인, 로봇 핸드 파지 제스처 제어 방법을 제공한다.

또한, 본원의 제 3 측면은 본원의 제 1 측면에 따른 손가락 벤딩 센서 장치를 포함하는, 인공 지능 로봇을 제공한다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 본 발명은 힘줄 와이어와 연동하는 전자펜과 로봇 손가락의 구부러진 양을 측정하는 터치패드를 로봇 핸드의 내부에 집적화하여, 외부 물체와의 접촉에 따른 마모와 오염의 위험을 피하면서, 파지할 물체 모양에 따라 로봇 손가락의 파지 제스처를 생성 할 수 있는 로봇 손가락의 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법을 제공한다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1a 는 본원에 따른 터치패드 기반의 손가락 벤딩 센서 장치를 로봇 손가락에 적용한 실시예이고, 도 1b는 상기 터치패드 기반의 손가락 벤딩 센서 장치의 주요부분에 대한 분해도이다.
도 2a 내지 2c 는 본원에 따른 손가락 벤딩 센서 장치에 포함되는 전자펜의 여러 실시예들이다.
도 3a 내지 3c는 본원에 따른 터치패드 기반의 손가락 벤딩 센서 장치를 사용한 로봇 손가락의 벤딩 동작을 보여주는 실시예이다.
도 4는 본원에 따른 손가락 벤딩 센서 장치가 4개의 로봇 손가락에 적용된 예시이다.
도 5a 내지 5c는 본원에 따른 손가락 벤딩 센서 장치가 4개의 로봇 손가락, 로봇 손바닥 및 로봇 팔의 내부에 매설 장착되어 연결된 예시이다.
도 6 은 본원의 일 구현예에 따른 로봇 핸드 파지 제스처 제어 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 핑커팁은 로봇 손가락의 지문 영역을 지칭한다.

본원 명세서 전체에서, 힘줄 와이어는 복수개의 와이어가 합체된 와이어(combined wire)와 혼용된다.

본원 명세서 전체에서, 전자펜은 터치펜과 혼용된다.

본원 명세서 전체에서, 로봇 핸드는 로봇 손가락, 로봇 손바닥, 로봇 팔 중 선택된 어느 하나 이상의 부분인 것을 말한다

도 1a 는 본원에 따른 터치패드 기반의 손가락 벤딩 센서 장치를 로봇 손가락에 적용한 실시예이고, 도 1b는 상기 터치패드 기반의 손가락 벤딩 센서 장치의 주요부분에 대한 분해도이다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은 모터(60a) 회전에 의해 로봇 손가락(20a)의 벤딩(구부러짐)을 제어하는 로봇 손가락 구동부(미도시); 상기 로봇 손가락(20a)의 벤딩량을 검출하기 위한 벤딩 센싱 수단(200); 및 상기 로봇 손가락(20a)의 벤딩량을 산출하기 위한 벤딩 계산부(50)를 포함하고, 상기 벤딩 센싱 수단(200)은, 상기 로봇 손가락(20a)의 벤딩에 따라 전진 내지 후진 이동하는 전자펜(40); 및 상기 전자펜(40)의 전진 내지 후진 이동에 따라 선(line)이 그려지는 터치 패드(41); 를 포함하는 것인, 손가락 벤딩 센서 장치(300)를 제공한다.

본원의 일 구현예에 따르면, 상기 로봇 손가락 구동부(미도시)는 모터(60a); 상기 모터(60a)의 회전축에 연결된 리드 스크류(lead screw, 60c); 상기 리드 스크류(60c)의 회전 방향에 따라 리드 스크류(60c)의 축을 따라 전진 또는 후진하는 와이어 너트(60d); 및 로봇 손가락(20a)의 길이 방향으로 연결될 뿐만 아니라, 상기 와이어 너트(60d)에 고정 연결되어, 와이어 너트(60d)의 전진량 또는 후진량에 따라 상기 로봇 손가락(20a)의 벤딩량이 조절되도록 하는 힘줄 와이어(tendon wire, 30)을 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.

본원의 일 구현예에 따르면, 상기 벤딩 계산부(50)는 상기 터치 패드(41) 상에서 상기 전자펜(40)의 원점으로부터 상기 전자펜(40)의 현재 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출하는 것일 수 있으나, 이에 제한되는 것은 아니다.

상기 벤딩 계산부(50)의 또 다른 측면은, 전자펜(40)이 전진 이동하는 동안에 터치패드(41)상에 그려진 선의 길이로부터, 상기 전자펜(40)이 후진 이동하는 동안에 터치패드(41)상에 그려진 선의 길이를 빼고 남은 길이로서 로봇 손가락의 벤딩량을 산출할 수 있다.

상기 벤딩 계산부(50)의 또 다른 측면은, 전자펜(40)이 전진 이동하는 동안에는 터치패드(41)상에 선이 그려지고, 상기 전자펜(40)이 후진 이동하는 동안에는 터치패드(41)상에 그려진 선이 지워지도록 프로그램 설정하여, 상기 터치패드(41)상에 남아있는 선의 길이로서 로봇 손가락의 벤딩량을 산출할 수 있다.

상기 전자펜(40)은 와이어 너트(60d)와 항시 연동하여 같이 움직이고, 와이어 너트(60d)는 전후진하면서 힘줄 와이어(30)를 밀고 당겨(push and pull) 로봇 손가락의 벤딩량을 조절하므로, 벤딩 계산부(50)는 터치 패드(41)상에 그려진 선의 길이를 측량하여 벤딩량을 산출할 수 있다.

상기 전자펜(40)은 스프링 핀 (40a)과 전하 컬렉터(40b)로 구성된다.

본 발명의 터치 패드(41)는 정전용량방식 (Capacitive)이 선호 되며, 전자펜 (40) 터치시, 해당 터치 위치에서 터치 패드(41)상에 형성되어 있던 커패시턴스(capacitance) 성분에 변화가 발생되고 이를 터치 패드(41)가 감지하여 전자펜(40)의 터치 위치를 파악할 수 있다. 즉, 상기 전자펜(40)은 전기가 흐를 수 있는 스프링 핀(40a)과 전하 컬렉터(40b)로 구성되어 있어, 터치 패드(41)와의 접촉시 터치 패드(41)상에 형성되어 있던 커패시턴스 성분에 변화를 일으키게 된다.

상기 전하 컬렉터(40b)는 원반 접시 형태가 선호되며, 스프링 핀(40a)의 말단부에 결합되어 일체화 된다.

전하 컬렉터(40b)는 스프링 핀(40a)의 유효 커패시턴스 성분을 증가시키는 역할을 하여, 전자펜(40)의 터치 패드(41) 터치 시 터치 패드(41)상의 커패시턴스 성분에 보다 큰 변화를 유도하여, 터치 패드(41)의 민감도를 증가시킨다. 터치 패드(41)의 민감도를 커지면 터치 패드(41)는 전자펜(40)이 직접 닿지 않아도 공중에 있는 전자펜(40)의 위치와 움직임을 감지할 수 있어, 전자펜(40)과 터치패드(41)간의 마찰을 줄일 수 있다

상기 스프링 핀(40a)은 길이 방향으로의 수축을 허용하는 탄성 스프링을 내부에 내장하고 있는 포고핀(pogo pin) 또는 스프링 프로브(spring probe)를 사용하는 것이 선호된다.

이 경우 전자펜(40)이 터치패드(41)에 물리적으로 서로 맞닿은 경우, 그 충격이 스프링에 의해 완충되어 터치 패드(41)의 손상을 막을 수 있을 뿐만 아니라, 터치패드(41)상에서 전자펜(40)의 부드러운 이동을 보장한다.

상기 힘줄 와이어(30) 의 한쪽 말단부는 핑거팁(22) 영역에 고정 체결된다.

따라서 와이어 너트(60d)가 전진(우측 이동) 이동하는 경우, 상기 힘줄 와이어 (30)가 우측으로 당겨져 로봇 손가락(20a)이 구부러지게 된다.

반면, 와이어 너트(60d)가 후진(좌측 이동) 이동하는 경우, 상기 힘줄 와이어 (30)은 좌측으로 이동하면서 로봇 손가락(20a)이 펴지게 된다.

도면부호 20c는 로봇 손가락(20a) 벤딩후, 로봇 손가락(20a)을 원래 상태로 펴기 위한 복원력을 제공하는 복원수단이다. 상기 복원수단(20c)은 상기 와이어 너트(60d)가 리드스크류(60c) 상에서 후진하는 동안, 로봇 손가락(20a)이 펴지도록 하는 복원력을 발휘하며, 복원와이어, 스프링 내지 고무줄을 사용하는 것이 선호된다.

예컨대, 상기 와이어 너트(60d)가 전진 이동할때는, 힘줄 와이어 (30)가 당겨져 손가락이 구부러지고, 반면 상기 와이어 너트(60d)가 후진 이동하는 경우, 힘줄 와이어 (30)가 느슨해지고, 동시에 복원수단(20c)에 의해 손가락이 펴지게 된다.

도면부호 20b는 로봇 손바닥 영역을 나타낸다.

도면부호 70a는 베어링으로 리드 스크류(60c)의 한쪽 말단부와 연결되어 리드 스크류(60c) 회전시 공회전하며, 베어링 지지판(70b)의 구멍(70c)을 통해 이음 연결되어 고정된다.

본 발명에서 베어링 지지판(70b)은 전원선의 접지(ground)단자 내지 마이너스 단자에 전기적으로 연결된 도체인 금속 재료를 사용하는 것이 선호 되며, 이 경우 전자펜(40)은 와이어 너트(60d), 리드 스크류(60c), 베어링(70a)을 경유하여 상기 베어링 지지판(70b)과 전기적으로 연결된다.

로봇 손가락 구동부는 이를 통해 전자펜(40)이 전기적으로 전원선의 접지단자 내지 마이너스 단자에 항상 연결된 상태가 되도록 한다.

즉, 베어링 지지판(70b)을 전원선의 접지(ground)단자 내지 마이너스에 연결하면, 전자펜(40)은 전기적으로 전원선의 접지(ground)단자 내지 마이너스 단자에 연결된 상태로 되고, 이때 터치 패드(41)상에 전자펜(40) 터치시, 터치 패드(41)상에 보다 큰 전기 특성 변화를 유도하여, 터치 패드(41)의 민감도를 증가시킬 수 있게 된다.

본 발명에서, 와이어 너트(60d), 리드 스크류(60c), 베어링(70a)는 도체 금속 재료를 사용하는 것이 선호 된다.

도면 부호 60b는 모터(60a)의 회전축과 리드 스크류(60c)를 연결하는 커플러(coupler) 이다.

도면 부호 120은 파지(grasping)할 물체 모양을 인식하기 위한 이미지 센서로, 로봇 손바닥(20b)에 배치하는 것이 선호되며, 이미지센서(120)에 의해 캡쳐된 영상을 와이파이(wifi) 내지 블루투스를 통해 로봇 손 제스처 산출부 (140)에 무선 송신하는 것이 선호된다.

상기 로봇 손 제스처 산출부(140)는 이미지센서(120)로부터의 영상을 기반으로 파지할 물체 모양을 인식하고, 벤딩 계산부(50)로부터 파악된 현재의 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 생성하기 위한 제어 신호를 모터(60a)에 공급하여 구동하는 인공지능 신경망 포함하는 것을 특징으로 한다.

도 2a 내지 2c는 본원에 따른 손가락 벤딩 센서 장치(300)에 포함되는 전자펜(40)의 여러 실시예들이다.

구체적으로, 도 2a는 스프링 핀(40a)의 상부 몸체(43a)의 내부에는 탄성 스프링(43b)과 도체구(43c)를 포함하고, 상기 스프링 핀(40a)의 하부 몸체(43d)에는 전하 컬렉터(40b)가 체결되어 전자펜(40)을 구성한 실시예를 보인다. 이때 상기 스프링 핀(40a)의 하부 몸체(43d)는 상부 몸체(43a)와 물리적으로 연결되며, 수직 압력 발생시 탄성 스프링(43b)이 수축하면서 하부 몸체(43d)가 상부 몸체(43a)의 내부 경로를 따라 이동하게 되어 스프링핀(40a)의 전체 길이가 줄어들게 되고, 수직 압력 해제시 탄성 스프링(43b)의 복원력에 의해 원래의 길이로 회복된다.

따라서 상기 탄성 스프링(43b)은, 전자펜(40)이 터치 패드(41)의 표면으로 따라 스캔 이동하는 동안, 터치 패드(41)상의 미세 요철이나 미세 경사에 의해 수직 압력 발생할 경우 수축하여, 전자펜(40)이 터치 패드(41) 표면과의 원활한 밀착 접촉을 유지하면서 스캔할 수 있도록 한다.

상기 도체구(43c)는 탄성 스프링(43b)과 스프링 핀 (40a)의 하부 몸체(43d)와의 기계적, 전기적 연결이 원활하게 이루어지도록 돕는다.

상기 전하 컬렉터(40b)는 도체 원형 박막 인 것이 선호되며, 상기 스프링 핀 (40a)의 하부 몸체(43d)의 말단부근에 결합되어 일체화 된다. 상기 도체 원형 박막은 도선(conducting line)들이 사선패턴(oblique line pattern, 47), 격자패턴 내지 메쉬 패턴(mesh pattern)을 이루어 구성되는 것이 더욱 선호되며, 이는 전하 컬렉터(40b)의 유효 커패시턴스를 증가시킨다. 예컨대, 커패시턴스 성분은 사선패턴(47)상의 이웃한도선들 간에 간극들 사이에 형성되며, 사선패턴(47)상에 만들어진 커패시턴스들은 서로 병렬 연결된 형태로 구성되어, 유효 커패시턴스를 증가시킨다.

전하 컬렉터(40b)는 스프링 핀(40a)의 유효 커패시턴스를 증가시키는 역할을 하여, 터치 패드(41)상에 전자펜(40) 터치시, 터치 패드(41)상에 보다 큰 전기 특성 변화를 유도하여, 터치 패드(41)의 민감도를 증가시킨다. 상기 도체 원형 박막의 직경(K)이 커질수록, 상기 도체 원형 박막을 구성하는 도선들의 간격(T)이 좁을 수록 스프링 핀(40a)의 유효 커패시턴스를 증가시킨다.

도 2b는 리벳핀(42a)과 스프링 코일(42b)으로 구성된 전자펜(40)의 실시예로, 벤딩 동작시 스프링 코일(42b)이 터치패드(41) 표면을 따라 스캔하게 된다.

이 경우 스프링 코일(42b)에 의해 전자펜(40)의 유효 커패시턴스 성분이 증가되어, 터치 패드(41)상에 전자펜(40) 터치시 보다 큰 전기 특성 변화를 유도하여, 터치 패드(41)의 민감도를 증가시킨다. 상기 유효 커패시턴스 성분의 크기는 스프링 코일(40b)의 내경(ф)과 턴(turn)수, 그리고 스프링 코일 턴 간의 이격 거리(d), 스프링 와이어의 직경(t)에 비례하여 증가된다.

스프링 코일(40b)는 리벳핀(42a)과 전기적으로 연결되며, 전자펜(40)이 터치 패드(41) 표면으로 따라 스캔하는 동안, 터치 패드(41)상의 미세 요철이나 미세 경사에 의해 수직 압력 발생시 상기 스프링 코일(40b)이 일시 수축하여, 전자펜(40)과 터치 패드(41) 표면과의 원활한 밀착 접촉을 유지하면서 전자펜(40)이 스캔할 수 있도록 한다.

도면 부호 42c는 스프링 코일(42b)과 리벳 핀(42a)간의 물리적 접촉으로 생기는 전기적 연결을 차단하기 위한 절연체 스페이서(spacer)이다.

이것은 스프링 코일(42b)과 리벳 핀(42a)간의 물리적 접촉으로 생기는 전기적 연결이 되는 경우, 스프링 코일(42b)의 유효 커패시턴스 성분이 감소되는 것을 막기 위함이다. 즉, 스프링 코일(42b)의 유효 커패시턴스 성분의 크기는 스프링 코일(42b) 턴(turn)수에 비례하는데, 스프링 코일(42b)과 리벳 핀(42a)간의 물리적 접촉이 발생하는 경우, 스프링 코일(42b)에 의한 유효 커패시턴스 성분의 증가 효과는 사라진다.

예컨대, 커패시턴스 성분은 스프링 코일(42b)상의 이웃한 도선 간에 간극들 사이에 형성되며, 스프링 코일(42b)상에 만들어진 커패시턴스들은 서로 병렬 연결된 형태로 구성되어, 유효 커패시턴스를 증가시킨다.

도 2c는 와이어 너트(60d)에 절연체 핀(42d) 과 스프링 코일(42b)을 체결하여 전자펜(40)을 구성한 실시예로, 벤딩 동작시 스프링 코일(42b)이 터치패드(41) 표면을 따라 스캔 이동하게 된다. 이 경우 스프링 코일(42b)에 의해 전자펜(40)의 유효 커패시턴스 성분이 증가되어, 터치 패드(41)상에 전자펜(40) 터치시에 보다 큰 전기 특성 변화를 유도하여, 터치 패드(41)의 민감도를 증가시킨다.

본 발명에서 스프링 코일(42b)는 전자펜(40)이 터치 패드(41)의 표면으로 따라 스캔 이동하는 동안, 터치 패드(41)상의 미세 요철이나 미세 경사에 의해 수직 압력 발생할 경우 수축하여, 전자펜(40)과 터치 패드(41) 표면과와의 원활한 밀착 접촉을 유지하면서 전자펜(40)이 스캔할 수 있도록 한다.

본 발명에서, 스프링 핀 (40a), 와이어 너트(60d), 리벳핀(42a), 전하 컬렉터(40b), 탄성 스프링(43b), 스프링 코일(42b)은 도체인 것이 선호된다.

도 3a 내지 3c 는 터치패드 기반의 손가락 벤딩 센서 장치 (300)를 사용한 로봇 손가락(20a)의 벤딩 동작을 보여주는 실시예이다.

구체적으로, 도 3a는 로봇 손가락(20a)이 펼쳐진 경우를 나타내고, 이때의 터치패드(41)상의 전자펜(40)의 위치가 전자펜(40)의 출발점(원점)이 된다.

반면, 도 3b는 도 3a의 상태에서 모터(60a)를 구동시켜 리드 스크류(60c)의 회전 에 따라 와이어 너트(60d)를 우측으로 전진 이동시키면서 힘줄 와이어 (30)를 우측으로 당겨, 로봇 손가락(20a)을 구부러뜨린 경우를 나타낸다. 이때 전진하는 와이어 너트(60d)에 연동하는 전자펜(40)은 터치 패드(41)상에 선(48)을 그리게 된다. 따라서 전진하는 동안에 그려진 선(48)의 길이는 로봇 손가락(20a)의 벤딩량에 비례해서 길어지게 되므로, 벤딩 계산부(50)는 와이어 너트(60d)가 전진 동안에 터치패드(41)상에 그려진 선(48)의 길이를 측량하여 벤딩량을 산출할 수 있다.

예컨대, 벤딩 계산부(50)는 전자펜의 출발점(원점)로부터 현재 전자펜의 위치까지의 직선거리(선의 길이)를 측량하여 로봇 손가락의 벤딩량을 산출할 수 있다.

도 3c는 와이어 너트(60d)를 우측으로 더욱 전진 이동시켜, 로봇 손가락(20a)을 최대로 구부러뜨린 경우를 나타낸다.

반대로, 도 3c 상태에서, 도 2a에서와 처럼 로봇 손가락(20a)이 다시 펼쳐진 상태로 복귀하기 위해서는, 모터(60a)에 의해 리드 스크류(60c)를 역회전시켜 와이어 너트(60d)를 좌측으로 후진 이동시키면 된다. 이때, 힘줄 와이어(30)가 풀리면서(느슨해 지면서), 복원수단(20c)에 의해 로봇 손가락(20a)이 펼쳐지게 된다.

도 4는 손가락 벤딩 센서 장치 (300)가 4개의 로봇 손가락(20a)에 적용된 예시를 보이고, 반면 도 5a 내지 5c는 상기 손가락 벤딩 센서 장치 (300)가 4개의 로봇 손가락(20a), 로봇 손바닥(20b)과 로봇 팔(99)의 내부에 매설 장착되어 연결된 예시를 보여준다.

모터(60a)의 회전에 따라, 커플러(60b)을 통해 모터(60a)의 회전축에 연결된 리드 스크류(60c)가 연동되어 회전하게 되고, 이에 따라 와이어 너트(60d)는 리드 스크류(60c)의 축 방향을 따라 전진 또는 후진하게 된다.

도 4 및 도 5a 내지 5c의 경우, 4개의 로봇 손가락(20a)의 벤딩을 독립적으로 제어하기 위해 4개의 모터(60a)를 사용하였고, 각각의 모터(60a)마다 리드 스크류(60c)와 와이어 너트(60d)가 구비된다.

또한 각각 와이어 너트(60d)는 해당하는 로봇 손가락(20a)에 속한 힘줄 와이어 (30)와 일대일로 체결되어 있다.

로봇 손 제스처 산출부(140)는 상기 4개의 모터(60a)를 독립적으로 제어 및 구동함으로서, 4개의 로봇 손가락(20a)의 벤딩을 따로 따로 독립적으로 제어할 수 있게 된다.

도면 부호 90은 풀리(pulley) 로, 핑거팁(22)에 고정된 2개의 와이어(30a, 30b)를 베어링 지지판(70b)를 통해 와이어 너트(60d)에 고정 연결시 힘줄 와이어 (30)에게 원할한 경로 변경을 제공한다. 상기 풀리(90)는 풀리(90)와 힘줄 와이어(30)간의 마찰에 의한 공회전을 허여하는 것이 선호된다.

본 예시에서는 힘줄 와이어(30)는 2개의 와이어(wire, 30a, 30b)를 구성되는 것이 선호된다,

상기 2개의 와이어(30a, 30b)는 핑거팁(22)상에 고정 연결되고, 와이어 가이드1(80a)과 와이어 가이드2 (80b)를 통과하는 동안 합체되어 힘줄 와이어 (30)가 된다. 이후 합체된 와이어(30), 즉 힘줄 와이어(30)는 상기 풀리(90)와 베어링 지지판(70b)을 경유하여 와이어 너트(60d)에 체결 된다.

로봇 손가락(20a)의 벤딩에 따라 전자펜(40)이 전진 내지 후진하면서, 터치 패드(41)상에 벤딩량을 나타내는 선(line)이 그려진다.

로봇 손 제스처 산출부(140) 은 인공지능 신경망을 이용하여, 이미지센서(120)로부터의 무선 수신된 영상을 기반으로 파지할 물체 모양을 인식하고, 벤딩 계산부(50)로부터 파악된 현재의 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정한다. 또한 로봇 손 제스처 산출부(140) 는 상기 결정된 최적의 로봇 핸드 파지 제스처에 해당하는 제어 신호를 모터(60a)에 공급하여 로봇 손가락(20a)의 벤딩을 제어하게 된다.

또한, 본원의 제 2 측면은 본원의 제 1 측면에 따른 손가락 벤딩 센서 장치(300)에 의해 수행되는 로봇 핸드 파지 제스처 제어 방법에 있어서, 상기 로봇 핸드 파지 제스처 제어 방법은, 로봇 손 제스처 산출부(140)에 의해 이미지센서(120)로부터의 영상을 기반으로 파지할 물체 모양을 인식하는 단계; 벤딩 계산부(50)에 의해 터치 패드(41)상에 그려진 전자펜(40)의 원점으로부터 현재 전자펜(40)의 위치까지의 직선 거리를 측량하여 로봇 손가락(20a)의 벤딩량을 산출하는 단계; 및 상기 로봇 손 제스처 산출부(140)에 인식된 파지할 물체 모양과 상기 벤딩 계산부(50)로부터 파악된 로봇 손가락(20a) 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정하여 로봇 손가락(20a)의 벤딩을 제어하는 단계; 를 포함하는 것인, 로봇 핸드 파지 제스처 제어 방법을 제공한다.

본원의 제 2 측면에 따른 로봇 핸드 파지 제스처 제어 방법에 대해, 본원의 제 1 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면에 기재된 내용은 본원의 제 2 측면에 동일하게 적용될 수 있다.

도 6 은 본원의 일 구현예에 따른 로봇 핸드 파지 제스처 제어 방법의 순서도이다.

먼저, 로봇 손 제스처 산출부에 의해 이미지센서로부터의 영상을 기반으로 파지할 물체 모양을 인식한다 (S100).

단계 S100에서, 로봇 손 제스처 산출부(140)의 인공지능 신경망은 이미지센서(120)로부터의 유선 또는 무선 수신된 영상을 기반으로 파지할 물체 모양을 인식할 수 있다.

이어서, 벤딩 계산부에 의해 터치 패드 상에 그려진 전자펜의 원점으로부터 전자펜의 현재 전자펜의 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출한다 (S200).

단계 S200에서, 벤딩 계산부(50)는 터치패드(41)상에 그려진 전자펜의 출발점(원점)로부터 현재 전자펜의 위치까지의 직선거리(선의 길이)를 측량하여 로봇 손가락의 벤딩량을 산출할 수 있다.

이어서, 로봇 손 제스처 산출부에 인식된 파지할 물체 모양과 벤딩 계산부로부터 파악된 로봇 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정하여 로봇 손가락의 벤딩을 제어한다 (S300).

단계 S300에서, 로봇 손 제스처 산출부(140)는 파지할 물체 모양과 벤딩 계산부(50)로부터 파악된 현재의 로봇 손가락(20a) 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정하여 로봇 손가락(20a)의 벤딩을 제어할 수 있다.

본원에 따른 로봇 핸드 파지 제스처 제어 방법에서각 손가락에 대한 벤딩량 정보 및 각 손가락의 벤딩 구동부에서 소모되는 전류합의 가중치 벡터(vector) 합(summation)으로서 로봇 손가락의 악력(grasping　power)을 계산할 수 있다.

본원의 제 3 측면에 따른 인공 지능 로봇에 대해, 본원의 제 1 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면에 기재된 내용은 본원의 제 3 측면에 동일하게 적용될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

20a 로봇 손가락
20b 로봇 손바닥
20c 복원수단
22 핑거팁
30 힘줄 와이어
30a 와이어 30b 와이어
40 전자펜
40a 스프링 핀
40b 전하 컬렉터
41 터치 패드
42a 리벳핀
42b 스프링 코일
42c 절연체 스페이서
42d 절연체 핀
43a 상부 몸체
43b 탄성 스프링
43c 도체구
43d 하부 몸체
47 사선 패턴
48 선
50 벤딩 계산부
60a 모터
60b 커플러
60c 리드 스크류
60d 와이어 너트
70a 베어링
70b 베어링 지지판
70c 베어링 지지판의 구멍
80a 와이어 가이드 1
80b 와이어 가이드 2
90 풀리
99 로봇 팔
120 이미지센서
140 로봇 손 제스처 산출부
200 벤딩 센싱 수단
300 손가락 벤딩 센서 장치

Claims

모터 회전에 의해 로봇 손가락의 벤딩(bending)을 제어하는 로봇 손가락 구동부;
상기 로봇 손가락의 벤딩량을 검출하기 위한 벤딩 센싱 수단; 및
상기 로봇 손가락의 벤딩량을 산출하기 위한 벤딩 계산부;
를 포함하고,
상기 벤딩 센싱 수단은,
상기 로봇 손가락의 벤딩에 따라 전진 내지 후진 이동하는 전자펜; 및
상기 전자펜의 전진 내지 후진 이동에 따라 선(line)이 그려지는 터치 패드;
를 포함하는 것인,
손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 로봇 손가락 구동부는,
모터의 회전축에 연결된 리드 스크류;
상기 리드 스크류의 회전 방향에 따라 상기 리드 스크류 축 방향으로 전진 또는 후진 이동하는 와이어 너트; 및
상기 와이어 너트의 전진 또는 후진 이동에 따라 상기 로봇 손가락의 벤딩량이 조절되도록 하는 힘줄 와이어;
를 포함하는 것인,
손가락 벤딩 센서 장치.
제 2 항에 있어서,
상기 와이어 너트에 상기 전자펜이 물리적으로 결합되어, 상기 와이어 너트의 전진 또는 후진 이동에 따라 상기 전자펜이 같이 연동하여 전진 또는 후진 이동하는 것인,
손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 전자펜은,
상기 터치 패드와 접촉 시, 수직 압력 방향에 대해 상기 전자펜에게 탄성적 수축을 제공하는 스프링 핀; 및
상기 터치 패드 상에 전기적 특성 변화를 유도하는 전하 컬렉터;
를 포함하는 것인,
손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 전자펜은,
상기 터치 패드와 접촉 시, 수직 압력 방향에 대해 상기 전자펜에게 탄성적 수축을 제공하고, 동시에 상기 터치 패드 상에 전기적 특성 변화를 유도하는 도체 스프링 코일을 포함하는 것인,
손가락 벤딩 센서 장치
제 1 항에 있어서,
상기 전자펜은 전원선의 접지단자 또는 마이너스 단자에 전기적으로 연결되는 것인, 손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 벤딩 계산부는 상기 터치 패드 상에서 상기 전자펜의 원점으로부터 상기 전자펜의 현재 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출하는 것인,
손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 손가락 벤딩 센서 장치는 로봇 손바닥면에 파지할 물체를 인식하기 위한 이미지센서를 추가 포함하는 것인,
손가락 벤딩 센서 장치.
제 8 항에 있어서,
상기 로봇 손가락 구동부는 상기 이미지센서로부터의 영상을 기반으로 파지할 물체 모양을 인식하고, 상기 벤딩 계산부로부터 산출된 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처(robot hand grasping gesture)를 생성하기 위한 제어 신호를 상기 모터에 공급하는 로봇 손 제스처 산출부를 포함하는 것인,
손가락 벤딩 센서 장치.
제 1 항에 있어서,
상기 로봇 손가락은 로봇 손가락 벤딩 후 로봇 손가락을 원래 상태로 펴기 위한 복귀 와이어, 스프링, 고무줄 및 이들의 조합들로 이루어진 군에서 선택되는 복원수단을 포함하는 것인,
손가락 벤딩 센서 장치.
제 1 항 내지 제 10 항 중 어느 한 항에 따른 손가락 벤딩 센서 장치에 의해 수행되는 로봇 핸드 파지 제스처 제어 방법에 있어서,
상기 로봇 핸드 파지 제스처 제어 방법은,
로봇 손 제스처 산출부에 의해 이미지센서로부터의 영상을 기반으로 파지할 물체 모양을 인식하는 단계;
벤딩 계산부에 의해 터치 패드 상에 그려진 전자펜의 원점으로부터 현재 전자펜의 위치까지의 직선 거리를 측량하여 로봇 손가락의 벤딩량을 산출하는 단계; 및
상기 로봇 손 제스처 산출부에 인식된 파지할 물체 모양과 상기 벤딩 계산부로부터 파악된 로봇 손가락 벤딩량을 기반으로, 최적의 로봇 핸드 파지 제스처를 결정하여 로봇 손가락의 벤딩을 제어하는 단계;
를 포함하는 것인,
로봇 핸드 파지 제스처 제어 방법.
제 1 항 내지 제 10 항 중 어느 한 항에 따른 손가락 벤딩 센서 장치를 포함하는, 인공 지능 로봇.