KR20200063353A - 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법 - Google Patents

Abstract

본 발명은 카메라와 인공지능을 활용한 다기능 전자의수 및 그 제어방법에 관한 것으로, 전자의수에 카메라를 부착하여 카메라로부터 획득한 물체의 영상정보를 기준으로 인공지능을 이용하여 해당 물체의 형태와 크기를 파악하여 전자 의수의 동작을 제어함으로써, 다수의 절단 환자가 어렵지 않게 구매할 수 있도록 경제성을 확보하면서 정확하고 편리하게 사용이 가능하도록 하여 일상생활에 불편함이 없도록 하는 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법에 관한 것이다.

Description

카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법{Multi-functional Electronic Prosthetic Hand using cameras and artificial intelligence}

본 발명은 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법에 관한 것으로, 보다 상세하게는 전자 의수에 카메라를 부착하여 카메라로부터 획득한 물체의 영상정보를 기준으로 인공지능을 이용하여 해당 물체의 형태와 크기를 파악하여 전자 의수의 동작을 제어함으로써 저렴한 비용으로 일상생활에 불편이 발생하지 않도록 하는 전자 의수를 제공하는 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어 방법에 관한 것이다.

절단환자의 손을 대체하는 의수는 기능에 따라 크게 미관수와 기능수로 나눌 수 있다.

이 중 미관수는 절단부위를 가려 미관이 개선되도록 하는 것으로 실리콘 등의 재질을 이용하여 제작되고 있으며 물건을 잡는 등의 기능은 하지 못하므로 일상생활에는 큰 불편이 있었다.

한편 기능수는 의수에 기능을 구비한 것으로, 통상 뇌파나 근전도 검출결과를 기준으로 하여 모터를 제어함으로써 물건을 잡거나 놓는 등의 기능을 수행하도록 한 것이다.

그 예로 하나의 모터로 손가락을 동시에 구동하는 기술은 제조 단가는 저렴한 편이지만, 각 손가락을 개별적으로 제어할 수 없기 때문에 대상 물체를 파지하는데 있어 정밀한 파지력 구현과 유지가 어려운 문제점이 있었다.

이에 따라 각 손가락마다 모터를 구비하여 각 손가락이 개별적으로 제어되도록 하는 전자 의수가 개발되었으며, 이러한 전자 의수는 통상 하나의 의수로 밥을 먹거나 물건을 들어올리는 등 일상생할에서 범용적으로 사용될 수 있도록 개발되고 있어 다양한 동작을 수행하여야 하므로 세밀한 제어가 요구되고 있다.

이에 따라 고가의 고성능 뇌파 또는 근전도 센서를 이용하여 사용자가 목적하는 움직임을 뇌파 또는 근전도 센서만으로 판단하여 다수의 모터를 개별제어하는 전자 의수가 공개특허 10-2014-0111115호 등에 개발되어 사용되고 있다.

상기 공개특허 10-2014-0111115호에 제시된 전자 의수는 움직임 동작에 따른 주파수별 뇌파 신호를 측정하는 단계; 상기 측정된 주파수별 뇌파 신호를 파워스펙트럼 분석을 통해 각 주파수별 상태 파워 값을 도출하는 단계; 상기 주파수별 상태 파워값을 분석하여 동작 상태 및 악력 단계별 세기를 결정하는 단계; 및 상기 결정된 동작 상태 및 악력 단계별 세기에 따라 전자 의수의 힘의 세기를 차등적으로 제어하는 단계를 포함하여 구성된다.

그러나, 상기한 특허와 같이 고가의 센서를 사용한 전자 의수는 너무 고가여서 일반인이 사용하기는 어려움이 있었다.

이에 대한 해결책으로 본 발명의 출원인은 대한민국 특허출원 10-2017-0107051호에서 근전도센서의 감도를 다소 낮추어 근전도센서로부터 검출된 근육활성화 신호에 따라 손가락이 동시에 일괄적으로 동작되도록 하면서 전자 의수의 회전방향 또는 전자 의수에 구비된 터치패널상 터치입력에 따라 손가락을 개별적으로 제어하도록 함으로써, 전자 의수로 일상생활이 가능하도록 하면서 가격을 낮추는 기술을 제시하였으며, 본 발명은 고가의 센서를 사용하지 않고도 일상생활에 불편을 주지 않는 전자 의수를 제공하기 위한 연구개발의 결과 발명된 것이다.

본 발명은 전자 의수에 카메라를 부착하여 카메라로부터 획득한 물체의 영상정보를 기준으로 인공지능을 이용하여 해당 물체의 형태와 크기를 파악하여 전자 의수의 동작을 제어함으로써, 다수의 절단 환자가 어렵지 않게 구매할 수 있도록 경제성을 확보하면서 정확하고 편리하게 사용이 가능하도록 하여 일상생활에 불편함이 없도록 하는 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법을 제공하는 데 목적이 있다.

그리고 카메라 외에 거리측정센서를 더 구비하여 측정된 거리정보를 기반으로 파지대상물체의 정확한 크기를 연산할 수 있도록 함으로써 정확한 물체의 파지가 가능하도록 하는 데 다른 목적이 있다.

또한, 전자 의수의 일 측에 터치패드를 구비하여 전자 의수의 손가락 움직임을 조정할 수 있도록 하여 사용의 편의성 및 핑거부의 섬세한 동작을 구현할 수 있도록 하는 전자의수 및 그 제어방법을 제공하는 데 또 다른 목적이 있다.

아울러 상기한 전자의수를 스마트폰과 연결하여 스마트폰을 이용하여 전자의수의 동작을 제어할 수 있도록 하며, 전자의수의 물체인식데이터와 근전도센서의 측정데이터를 포함한 파지데이터를 데이터베이스에 축적하여 보다 정확한 물체의 파지가 가능하도록 하는 데 또 다른 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 특징은, 절단된 팔에 부착되고 부착위치에서 손목까지 소정 형상으로 형성되는 암부; 상기 암부의 일단에 착탈가능하도록 결합되며 손바닥부분과 상기 손바닥부분에 링크와 관절로 각각 연결되는 손가락부분을 포함하여 구성되는 핸드부; 입력되는 동작 제어 신호에 따라 상기 핸드부를 구성하는 손바닥부분 및 손가락부분을 회전시키는 구동부; 상기 암부의 절단된 팔부분과 접하는 위치에 구비되어 팔의 근육 활성화 정도를 측정하는 근전도 센서부; 상기 핸드부의 일면에 구비되는 카메라; 상기 카메라로부터 전송된 신호를 기준으로 파지대상물체의 형태와 크기를 연산하는 인공지능부; 상기 인공지능부와 근전도 센서부로부터 전송되는 신호를 기준으로 구동부로 동작제어신호를 전송하여 파지대상물을 파지할 수 있도록 하는 제어부;를 포함하여 구성되는 카메라와 인공지능을 활용한 다기능 전자의수 및 그 제어방법에 있다.

한편, 상기 전자의수에는 거리측정센서가 더 구비되어 측정된 거리를 기준으로 파지대상물체의 정확한 크기를 연산할 수 있도록 한다.

또한 상기 전자의수의 핸드부 상부면에는 전자의수의 동작을 제어할 수 있는 터치패널을 더 구비하여 사용자가 손가락의 회전정도를 포함한 전자의수의 동작을 제어할 수 있도록 하고, 중지와 약지 및 소지를 동시에 구동하기 위한 일괄구동스위치를 더 구비하여 중지와 약지 및 소지의 동작을 개별 또는 동시 제어할 수 있도록 한다.

아울러 상기 전자의수는 스마트폰과 연결되고 스마트폰에는 전자의수 제어용 앱이 설치되어 사용자가 스마트폰을 이용하여 전자의수의 동작을 제어할 수 있도록 한다.

또한, 상기 전자의수의 파지대상물체별 크기와 형태 데이터를 포함한 물체인식데이터와 해당 파지대상물체를 잡거나 놓는 등의 동작에 따른 근전도센서의 측정데이터를 포함한 파지데이터를 데이터베이스에 축적하여 이후 해당 파지대상물체의 파지과정에서 상기 파지데이터를 근거로 구동부를 제어하도록 한다.

상기한 바와 같은 구성을 갖는 본 발명에 의하면 전자의수가 부착될 팔의 근육 활성화 정도를 근전도 센서부에서 감지하여 손가락부의 다섯 손가락을 일괄적으로 펴고 오므릴 수 있고, 카메라를 통해서 획득된 물체의 이미지 데이터를 이용하여 해당 물체의 크기와 형태에 따라 인공지능부에서 다섯 손가락의 형태를 일괄적으로 최적으로 맞추어 주므로 물건(물체)의 간편하고 정확한 파지를 가능하게 함으로써 저렴한 비용으로 사용이 편리한 전자의수를 제공할 수 있는 효과가 있다.

그리고 상기한 파지대상물체의 크기를 연산하는 과정에서 거리측정센서를 더 구비하여 측정된 거리를 기준으로 해당 물체의 크기를 연산하므로 정확한 연산이 가능하여 물체를 파지하는 과정에서 물체를 놓치거나 너무 세게 파지하는 일이 발생하지 않도록 하는 효과가 있다.

또한, 이러한 파지대상물체의 파지데이터가 데이터베이스에 축척되어 이후 파지과정에 이용되므로 정확하고 별도의 연산과정이 요구되지 않아 신속한 파지가 가능하게 되는 효과가 있다.

아울러 본 발명은 전자의수의 일 측에 터치패널이 구비되어 사용자가 터치패널을 통하여 개별 손가락 움직임 등을 제어하고, 필요한 경우 스마트폰과 연결하여 전자의수의 동작을 제어할 수 있도록 함으로써, 사용의 편의성 및 섬세한 손가락 동작을 구현할 수 있는 효과가 있다.

그리고 본 발명은 손가락을 서보 모터로 구동하여 펄스 폭 변조를 통해 정밀한 위치 제어가 가능하도록 하는 효과가 있다.

또한, 본 발명은 중지, 약지 및 소지를 하나의 구동부로 동시에 제어할 수 있어 전력 소비를 최소화하여 사용기간과 수명을 연장시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 전자의수의 손바닥측면을 나타내는 도면
도 2는 본 발명에 따른 전자의수의 구성을 나타내는 블록도
도 3 내지 도 5는 본 발명에 따른 전자의수의 사용예를 나타내는 도면

이하 본 발명의 실시 예를 첨부한 도면을 참조하여 설명한다.

그러나 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

또한, 본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명에 따른 카메라와 인공지능을 활용한 다기능 전자의수는 도 1 내지 도 2에 나타내는 바와 같이, 절단된 팔에 부착되고 부착위치에서 손목까지 소정 형상으로 형성되는 암부(A); 상기 암부(A)의 일단에 링크와 관절 등을 통하여 결합되는 손바닥부분(H1)과 상기 손바닥부분(H1)에 링크(12)와 관절(14)로 각각 연결되는 손가락 부분(H2)을 포함하여 구성되는 핸드부(H); 입력되는 동작 제어 신호에 따라 상기 핸드부(H)를 구성하는 손바닥부분(H1) 및 손가락부분(H2)을 회전시키는 구동부(10); 상기 암부(A)의 절단된 팔부분과 접하는 위치에 구비되어 팔의 근육 활성화 정도를 측정하는 근전도 센서부(20); 상기 핸드부(H)의 저면에 구비되는 카메라(30); 상기 카메라(30)로부터 전송된 신호를 기준으로 파지대상물의 형태와 크기를 연산하는 인공지능부(40); 상기 인공지능부(40)와 근전도 센서부(20)로부터 전송되는 신호를 기준으로 구동부(10)로 동작제어신호를 전송하여 파지대상물을 파지할 수 있도록 하는 제어부(100)를 포함하여 구성된다.

상기한 구성에서 핸드부(H)의 저면에는 적외선센서 등의 거리측정센서(50)가 더 구비되며, 상기 거리측정센서(50)로부터 측정된 파지대상물체과의 거리와 카메라(30)로부터 획득된 영상을 바탕으로 인공지능부(40)는 해당 파지대상물의 정확한 크기를 연산한다.

상기 전자의수의 외형은 3D 프린팅 방식으로 제작되어 원가 절감 및 외형 손상시 사용자의 용이한 부품 교체를 도모하도록 하는 것이 바람직하지만, 본 발명의 범위가 이에 제한되는 것은 아니다.

그리고, 본 발명에 따른 전자의수는 정해진 사이즈별로 기 제작/판매되는 기성품으로 제조될 수도 있으나, 구매 예정인 사용자의 팔 치수에 적합하도록 하기 위하여 사용자의 팔 치수를 측정하고 그에 따라 제조되는 사용자 맞춤형(User-Specific) 방식인 것이 더욱 바람직하다.

또한 핸드부(H)에는 미끄럼방지패드나 미끄럼방지 돌기 등 미끄럼방지처리를 하여 파지대상물을 잡았을 때 미끄러지는 것을 방지함과 아울러 그립시에 핸드부(H)를 형성하는 금속이나 수지 등의 압력이 파지대상물에 직접 전달되지 않고 완충되도록 하여 파지대상물에 스크래치가 발생되거나 파지대상물이 파손되는 것을 방지한다.

상기 구동부(10)는 암부(A)와 핸드부(H)를 연결하는 관절과 손가락 부분을 구성하는 각 손가락의 관절마다 구비되는 서보모터, 상기 서보 모터의 회전축에 결합되어 핸드부를 구성하는 손바닥부분 및 손가락부분을 소정각도 회전시키는 기어, 베어링 등의 회전부재를 포함하여 구성되며, 서보 모터를 사용하므로 펄스 폭 변조를 통해 정밀한 위치 제어가 가능하다.

상기 근전도 센서부(20)는 상기 전자의수가 부착될 잔존하는 팔의 일측에 부착되어 상기 팔 근육의 실시간 전기적 활성도를 감지하고 그 값을 제어부(100)에 전달하는 구성으로, 이를 위하여 근전도 센서와 상기 근전도 센서로부터 출력되는 아날로그 신호를 디지털신호로 변환하는 ADC(along-Digital Converter)를 포함하여 구성된다.

이러한 근전도 센서부(20)로부터 전송된 신호에 따라 상기 제어부(100)는 구동부(10)로 동작제어신호를 출력하여 물건을 잡거나 내려놓는 등의 활동을 수행하게 되며, 이때 손가락의 회전각은 상기 인공지능부(40)로부터 출력된 신호에 따라 제어된다.

상기 카메라(30)는 파지하고자 하는 대상물을 촬영하여 그에 따른 이미지 데이터를 제어부(100)로 전송하기 위한 것으로, 촬영의 편의를 위하여 전자의수의 핸드부(H)에 구비되고, 상기 거리측정센서(50)는 상기 카메라(30)와 밀착되도록 설치되어 파지대상물체의 크기를 측정하는 데 있어 오차를 방지한다.

한편, 본 발명에 따른 전자의수에는 중지와 약지 및 소지를 하나의 서보모터로 동시에 동작시키도록 하는 일괄구동 스위치가 더 구비되어, 일괄구동 스위치가 '온'상태에서는 중지와 약지 및 소지가 동시에 구동되고, '오프'상태에서는 중지와 약지 및 소지는 각각 구동되도록 하는데 상기 일괄구동 스위치는 터치패널상에 출력할 수도 있다.

또한 상기 전자의수의 핸드부(H) 또는 암부(H) 상부면에는 터치패널(60)을 더 구비하여 사용자가 터치패널을 이용하여 핸드부의 각 동작을 제어하도록 할 수 있다.

그 예로는 현재 전자의수를 이용한 작업이 파지작업인지, 누르는 작업인지 등을 선택할 수 있도록 하는데, 특히 최근 스마트폰이나 컴퓨터 등이 일반적으로 사용되고 있으므로 물체를 파지하는 동작외에 키보드를 누르거나 스마트폰을 터치하여 데이터를 입력하는 작업도 수행할 수 있도록 한다.

그리고 다른 예로는 각 손가락의 회전각도를 보다 세밀하게 제어할 수 있도록 하는데, 이를 위하여 상기 터치패널(60)에는 회전각도 설정을 위한 회전각도 설정용 메뉴가 구비되고, 상기 회전각도 설정용 메뉴는 손가락 선택 메뉴와 손가락의 회전각도 설정을 위한 메뉴로 구성되어 사용자가 선택한 손가락의 회전각도를 조정할 수 있도록 하며, 이는 카메라 등을 통하여 파지대상물체를 자동으로 파지하는 과정에서 보다 정밀한 제어가 필요한 경우 사용한다.

상기에서 회전각도 조정메뉴는 바(bar) 형상으로 형성하여 바에 구비된 버튼의 위치에 따라 회전각도가 조정되도록 하거나 상승과 하강버튼 방식으로 구현하여 사용자가 누르는 조작에 의하여 회전각도를 조절할 수 있도록 하는 등, 다양한 방법으로 조작이 가능하도록 하고, 이에 따라 상기 서버모터의 회전각이 조정되도록 한다.

또한 상기 터치패널(60)에는 카메라(30)를 통하여 촬영된 영상이 출력되고, 사용자는 터치패널(60)상에 출력되는 영상을 확인하여 카메라(30)가 해당 물체를 촬영할 수 있도록 손의 위치를 조정하여 촛점을 맞춘다.

그리고 상기 터치패널(60)에는 전자의수를 자동으로 구동하거나 수동으로 구동하도록 선택하는 메뉴가 구비되어, 자동 구동모드일 경우 상기 카메라와 거리측정센서 등을 이용하여 자동 파지가 이루어지도록 하고, 수동모드일 경우 터치패널에는 손가락을 오므리거나 펴는 동작 등 전자의수를 이용한 각종 동작을 제어할 수 있는 메뉴들이 출력되어 사용자가 각 메뉴들을 조작하여 전자의수가 구동되도록 할 수도 있다.

아울러, 상기한 전자의수는 스마트폰과 무선통신으로 연결되어 스마트폰에 전자의수 구동용 앱(Application program)을 설치하여 전자의수의 동작을 스마트폰에서 제어하도록 할 수도 있다.

이때 상기 스마트폰은 터치패널의 역할만을 수행하도록 하거나, 상기 인공지능부와 제어부 및 터치패널의 역할을 모두 수행하도록 할 수도 있다.

그리고 상기 전자의수의 파지대상물체별 크기와 형태 데이터를 포함한 물체인식데이터와 해당 파지대상물체를 잡거나 놓는 등의 동작에 따른 근전도센서의 측정데이터를 포함한 파지데이터를 데이터베이스에 축적하여 이후 해당 파지대상물체의 파지과정에서 상기 파지데이터를 근거로 구동부를 제어하도록 한다.

이때 상기 데이터베이스는 전자의수에 구비된 메모리를 사용하거나, 스마트폰의 메모리 또는 원격지 서버의 데이터베이스 등을 사용할 수 있다.

한편, 도시하지는 않았지만 상기 전자의수에는 구동부 등의 동작을 위한 전원부, 상기 충전회로를 포함한 전원부를 통한 전원 인가여부를 선택할 수 있도록 하는 전원스위치, 상기 전자의수에 전원을 충전하기 위한 접속단자 등이 더 구비된다.

상기한 바와 같은 구성을 갖는 본 발명의 카메라와 인공지능을 활용한 다기능 전자의수 제어방법을 하기에서 살펴보되 하기의 동작은 전원이 인가된 상태를 기본으로 설명한다.

우선, 전자의수 착용자가 전자의수를 임의의 물체상부로 이동시키면 카메라와 거치측정센서인 적외선센서를 통하여 해당 물체의 영상을 촬영하고 거리를 측정하며, 이를 인공지능부에서 연산하여 해당 물체의 형태와 크기를 연산한다.

이러한 연상과정에서 그래픽카드를 사용하여 연산시간을 단축시킨다.

한편, 물체의 촬영과정에서 카메라로부터 획득된 데이터는 터치패널로 출력될 수 있는데, 이때 사용자는 터치패널상에 출력되는 영상을 확인하여 촛점을 조정함으로써 해당 물체의 선명한 영상을 얻을 수 있도록 하고, 이와 같이 선명한 영상을 얻을 경우 보다 정확한 물체의 형상과 크기를 확인할 수 있다.

아울러, 상기한 카메라 및 적외선센서는 전원이 인가된 상태에서 지속적으로 활성화될수도 있고, 평소에는 비활성상태에 있다가 전자의수가 일정시간(1 내지 3초)동안 움직이지 않는 경우에 활성상태로 전환될 수도 있으며, 상기 터치패널을 통하여 이들의 활성 및 비활성 상태를 사용자가 선택할 수도 있다.

그리고, 상기한 바와 같이 인공지능부에서 연산된 물체의 형태와 크기 데이터는 제어부로 전송되고, 제어부는 이에 따라 구동부로 동작제어 신호를 출력하여 핸드부를 구동하여 물체를 파지하거나 누르는 등의 동작을 수행한다.

이때, 일반적으로 전자의수를 통하여 물체를 파지하는 동작이 많지만 경우에 따라 누르는 동작이나 다른 동작을 수행할 수 있으므로 상기 전자의수에는 동작유형을 선택할 수 있는 버튼이 구비되고, 이러한 버튼 역시 터치패널 상에 표시되어 사용자가 전자의수를 착용하지 않은 손으로 간단하게 선택할 수 있도록 하는데, 일반적으로 파지동작을 많이 수행하므로 별도의 동작유형 선택이 없는 경우에는 파지동작을 수행하도록 설정하고, 손가락으로 누르는 동작이나 손바닥으로 누르는 동작 등 별도의 동작유형선택메뉴가 조작되면 제어부는 그에 따라 구동부를 제어하여 해당 동작을 수행하도록 한다.

이러한 전자의수를 이용한 동작의 예로 도 3에 나타내는 바와 같이 카메라를 이용하여 키보드를 인식하고 터치패널로부터 누르는 동작을 수행하라는 명령이 입력되면 제어부는 검지를 제외한 나머지 손가락들을 손바닥측으로 오므리게 되어 사용자는 검지로 키보드를 사용할 수 있게 한다.

다른 예로는 도 4에 나타내는 바와 같이 파지대상물이 포트인 경우 상기 인공지능부에서 포크의 크기와 형태를 인식하면 제어부는 손잡이를 잡기 편하게 손가락의 회전상태를 설정하고, 사용자가 전자 의수를 포트에 가져가 힘을 주어 근전도 센서부로부터 신호가 출력되면 제어부는 설정값에 따라 구동부를 제어하여 포트의 손잡이를 잡는다.

또 다른 예로는 도 5에 나타내는 바와 같이 제어부는 스마트폰의 크기와 형태에 맞게 손가락의 동작을 설정하고 사용자가 전자 의수를 스마트폰에 가져가 힘을 주면 전자의수가 스마트폰을 잡게 된다.

한편, 이러한 파지과정에서 전자의수를 통하여 보다 정확하게 물건을 파지할 수 있도록 즉, 전자의수가 카메라 등을 통하여 물체를 잡았을 때 잡는 힘이 크거나 작아서 파지대상물에 스크래치 등 손상이 발생될 수 있으므로, 이 경우에는 상기 터치패널을 통하여 현재 파지상태에서 파지력을 다소 약하게 하거나 강하게 조정할 수 있으며, 이와 같이 조정된 값을 데이터베이스에 기록되어 이후 해당 물체를 다시 잡을 때 정확한 파지력으로 파지할 수 있도록 한다.

즉, 한번 물체의 형태와 크기가 측정되고 그에 따른 구동부 제어값이 설정된 후에는 상기 카메라를 통하여 동일 물체가 촬영될 경우 제어부는 이미 설정된 설정값을 불러와서 전자의수를 제어하는데, 이를 위하여 상기 제어부는 이미지검색 등의 기능을 통하여 카메라를 통해서 획득된 영상과 동일한 영상이 데이터베이스에 기록되어 있는지를 검색한다.

A : 암부 H : 핸드부
H1 : 손바닥부분 H2 : 손가락부분
10 : 구동부 20 : 근전도 센서부
30 : 카메라 40 : 인공지능부
50 : 터치패널 100 : 제어부

Claims (9)

1. 절단된 팔에 부착되고 부착위치에서 손목까지 소정 형상으로 형성되는 암부(A);
   상기 암부(A)의 일단에 결합되는 손바닥부분(H1)과 상기 손바닥부분(H1)에 링크(12)와 관절(14)로 각각 연결되는 손가락 부분(H2)을 포함하여 구성되는 핸드부(H);
   입력되는 동작 제어 신호에 따라 상기 핸드부(H)를 구성하는 손바닥부분(H1) 및 손가락부분(H2)을 회전시키는 구동부(10);
   상기 암부(A)의 절단된 팔부분과 접하는 위치에 구비되어 팔의 근육 활성화 정도를 측정하는 근전도 센서부(20);
   상기 핸드부(H)에 구비되는 카메라(30);
   상기 카메라(30)로부터 전송된 신호를 기준으로 물체의 형태와 크기를 연산하는 인공지능부(40);
   상기 인공지능부(40)와 근전도 센서부(20)로부터 전송되는 신호를 기준으로 구동부(10)로 동작제어신호를 전송하여 전자의수를 동작시키는 제어부(100);를 포함하여 구성되는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
2. 제 1항에 있어서, 상기 핸드부(H)의 카메라(30)와 밀접한 위치에는 거리측정센서(50)가 더 구비되고, 상기 거리측정센서(50)로부터 측정된 물체와의 거리와 카메라(30)로부터 획득된 영상을 기준으로 상기 인공지능부(40)는 해당 물체의 정확한 크기를 연산하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
3. 제 1항에 있어서, 상기 전자의수에는 중지와 약지 및 소지를 동시에 동작시키도록 하는 일괄구동 스위치가 더 구비되는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
4. 제 1항에 있어서, 상기 전자의수의 핸드부(H) 또는 암부(H) 상부면에는 터치패널(60)을 더 구비하여 사용자가 터치패널을 이용하여 핸드부의 각 동작을 제어하도록 하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
5. 제 1항에 있어서, 상기 전자의수는 스마트폰과 무선통신으로 연결되어 스마트폰에 전자의수 구동용 앱(Application program)을 설치하여 전자의수의 동작을 스마트폰에서 제어하도록 하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
6. 제 1항에 있어서, 상기 전자의수의 파지대상물체별 크기와 형태 데이터를 포함한 물체인식데이터와 해당 파지대상물체를 잡거나 놓는 동작을 포함한 동작에 따른 근전도센서의 측정데이터를 포함한 파지데이터를 데이터베이스에 축적하여, 이후 해당 파지대상물체의 파지과정에서 상기 파지데이터를 근거로 구동부를 제어하도록 하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
7. 제 2항에 있어서, 상기 카메라 및 거리측정센서는 전원이 인가된 상태에서 지속적으로 활성화될수도 있고, 평소에는 비활성상태에 있다가 전자의수가 기 설정된 소정시간동안 움직이지 않는 경우에 활성상태로 전환될수도 있으며, 전자의수에 구비된 터치패널을 통하여 이들의 활성 및 비활성 상태 신호가 입력되면 그에 따라 제어부가 카메라 및 거리측정센서를 구동하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수.
8. 전자의수 착용자가 전자의수를 임의의 물체 상부로 이동시키면 카메라와 거리측정센서가 해당 물체의 영상을 촬영하고 거리를 측정하는 단계;
   상기 물체의 영상과 거리데이터를 기준으로 인공지능부에서 해당 물체의 형태와 크기를 연산하는 단계;
   상기 인공지능부에서 연산된 물체의 형태와 크기 데이터를 기준으로 제어부에서 구동부로 동작제어 신호를 출력하는 단계;를 포함하여 구성되는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자의수 제어방법.
9. 제 9항에 있어서, 상기 제어부는 상기 인공지능부로부터 전송되는 물체의 형태와 크기데이터를 기록하고, 상기 카메라를 통하여 입력된 영상데이터가 데이터베이스에 기록된 영상인지 확인하여, 카메라를 통해서 획득된 영상과 동일한 영상이 데이터베이스에 기록되어 있는 경우 기 설정된 해당 물체의 구동부 제어값을 불러와서 구동부를 제어하는 것을 특징으로 하는 카메라와 인공지능을 활용한 다기능 전자 의수 제어방법.

Images