KR102582861B1 - 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법 - Google Patents

Abstract

본 발명은 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법에 관한 것으로, 보다 상세하게는 팔에 부착되는 암부와, 상기 암부의 일단에 결합되어 물체를 파지하도록 구동되는 그립부와 상기 그립부를 구동하는 구동부를 갖는 전자의수에 있어서, 상기 전자의수 일측에 구비되어 전방측을 촬상하는 카메라; 상기 전자의수 일측에 구비되어 착용자에 의해 파지하고자 하는 물체에 레이저를 조사하는 레이저 조사부; 및 상기 카메라에서 촬상된 촬상데이터와, 상기 레이저 조사부에 의해 조사된 레이저 위치를 기반으로 상기 촬상데이터 내에 파지대상물체를 인식하는 제어부;를 포함하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수에 관한 것이다.

Description

카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법{Prosthetic arm capable of automatic object recognition with camera and laser}

본 발명은 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법에 관한 것이다.

사고나 질병 또는 전쟁 등의 이유로 절단된 손을 대체하는 의수는 크게 미관용과 기능용 두 가지 종류가 있다. 미관용 의수는 절단된 팔을 인공물로 대체하여 외견을 회복하고 미관을 개선하는 것으로 실리콘 등의 재질을 통해 제작되고 있으며 물건을 잡는 등의 기능은 하지 못해 큰 불편함이 있다.

한편 기능용 의수는 사용자가 절단 부위의 근육을 사용한다고 생각할 때 감지되는 근신호 또는 뇌파를 기준으로 모터를 제어함으로써 사용자가 생각대로 구동할 수 있는 의수이다. 이러한 전자의수는 이론상으로는 정밀한 동작이 가능하나 제어를 위해 사용하는 뇌파 또는 근전도 센서 측정값의 오차로 인해 오작동이 발생하는 문제점이 있다.

종래에는 생체 신호를 이용한 센서에 의한 시스템의 오작동 발생 문제를 해결하기 위해 인공지능을 통한 이미지 분류를 기반으로 하는 시스템이 개발되고 있다. 사용자가 잡고자 하는 물체를 카메라로 찍으면 인공지능으로 학습된 이미지 분류 알고리즘으로 물체의 종류를 인식하고 그에 맞는 의수의 손동작을 제어하는 방식으로 작동한다.

물건을 들어 올리는 등의 다양한 동작을 위해서 의수는 비교적 세밀한 제어가 필요하고 이를 위해 종래에는 주로 사람의 근전도나 뇌파를 감지하는 센서를 사용한다. 하지만 사람의 개인 특성에 따라, 상태에 따라 근육의 활동전위나 뇌파의 세기가 달라지기 때문에 사람의 생체 신호를 인식하는 센서는 오차가 많이 생기게 된다. 따라서 위 센서를 통해 제어를 하는 종래의 전자의수는 오작동이 자주 발생한다는 한계점을 갖는다. 또한 근전도 측정이나 뇌파를 측정하는 센서에서 어느 정도의 정확성을 얻기 위해서는 고가의 센서를 사용해야 하기 때문에 일반인이 사용하기에 쉽지 않다는 어려움도 있다.

반면에 전자의수에 장착된 카메라를 통해 대상사물의 형상을 인식하는 방법을 사용하면, 의수의 효과적인 제어가 가능하다. 예를 들어, YOLO와 같은 이미지 감지 알고리즘을 사용하면 이미지에 다양한 물체가 존재하더라도 이미상에서의 물체의 위치, 크기, 물체의 종류를 정확하게 추정할 수 있다. 하지만 고성능의 이미지 감지 알고리즘을 의수제어시스템에 단순적용하면, 다음과 같은 치명적인 문제점이 가지고 있다. 카메라의 시야에 여러 물체가 존재할 경우, 제어시스템이 어떠한 물체를 잡아야 하는지 선택하기가 어렵다. 즉, 전자의수에 장착된 카메라 이미지에 다수의 물체가 존재할 경우, 이미지 감지 알고리즘을 통해 다수의 물체를 모두 감별해낼 수는 있지만 그 중에서 사용자가 잡기를 원하는 물체가 어떤 것인지를 선별해내기 어렵다.

대한민국 공개특허 10-2020-0063353 대한민국 등록특허 10-1371359 대한민국 공개특허 10-2019-0021805 대한민국 공개특허 10-2016-0043632

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, 물체의 형상을 카메라 이미지를 이용하여 자율적으로 인지하여 그에 대응되는 그립동작을 구현하는 전자의수에 대한 것으로, 기존 이미지 기반 의수시스템과의 차별점은 목표 물체를 선택하는 방법에 있으며, 기존의 시스템은 카메라 영상에 여러 물체가 있을 경우, 사용자가 실제로 잡고자 하는 물체를 선별하기가 힘들다는 점이 있는데, 이러한 한계점을 레이저를 이용하여 해결하여 정확하게 사용자가 원하는 물체를 선택하게 만들 수 있는, 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법을 제공하는데 그 목적이 있다.

본 발명의 실시예에 따르면, 이미지를 통한 물체 인식으로 제어하는 전자의수가 파지하고자 하는 대상이 여러 물체와 놓여있는 일반적인 상황에서 상기 대상을 쉽게 특정할 수 있고, 카메라의 초점 방향과 평행하게 부착한 레이저를 통해 사용자는 카메라의 중심을 알 수 있고 전자의수는 촬영한 이미지의 중심과 가까운 물체를 특정할 수 있으며, 기존 이미지 인식 기반 제어를 하는 전자의수는 이미지 상에 다수의 물체가 존재하는 경우 활용이 어렵지만 본 발명의 실시예에 따른 전자의수는 레이저 및 물체의 좌표를 예측하는 알고리즘을 통해 사용자가 파지하고자 하는 대상을 특정할 수 있어 이러한 어려움을 해결할 수 있는, 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법을 제공하는데 그 목적이 있다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 제1목적은, 팔에 부착되는 암부와, 상기 암부의 일단에 결합되어 물체를 파지하도록 구동되는 그립부와 상기 그립부를 구동하는 구동부를 갖는 전자의수에 있어서, 상기 전자의수 일측에 구비되어 전방측을 촬상하는 카메라; 상기 전자의수 일측에 구비되어 착용자에 의해 파지하고자 하는 물체에 레이저를 조사하는 레이저 조사부; 및 상기 카메라에서 촬상된 촬상데이터와, 상기 레이저 조사부에 의해 조사된 레이저 위치를 기반으로 상기 촬상데이터 내에 파지대상물체를 인식하는 제어부;를 포함하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수로서 달성될 수 있다.

그리고 상기 제어부는, 상기 촬상데이터 내의 물체를 인식하고, 인식된 상기 물체 중, 상기 촬상데이터 내의 조사된 레이저 포인트 위치에 가장 근접한 물체를 파지대상물체로 인식하거나, 또는 상기 레이저 조사부에 의해 조사되는 레이저 포인트는 상기 촬상데이터에서 중심을 향하도록 설정되며 상기 제어부는 상기 촬상데이터의 중심점에 가장 근접한 물체를 파지대상물체로 인식하는 것을 특징으로 할 수 있다.

또한 상기 레이저 포인트 위치 또는 중심점에 가장 근접한 물체가 2개 이상으로 인식되는 경우, 착용자는 상기 레이저 조사부에 의해 조사되는 레이저가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 상기 제어부는 레이저에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체로 인식하는 것을 특징으로 할 수 있다.

그리고 상기 제어부는 상기 파지대상물체를 인식하면 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 것을 특징으로 할 수 있다.

또한 상기 착용자의 팔 일측에 부착되어 팔 근육의 활동전위를 측정하여 상기 제어부로 전송하는 근전도센서;를 더 포함하고, 상기 제어부는 상기 활동전위를 기반으로 근육활성화신호를 감지하며 상기 근육활성화신호를 기반으로 카메라, 제어부, 및 레이저조사부 중 적어도 어느 하나의 시행여부를 결정하는 것을 특징으로 할 수 있다.

본 발명의 제2목적은 팔에 부착되는 암부와, 상기 암부의 일단에 결합되어 물체를 파지하도록 구동되는 그립부와 상기 그립부를 구동하는 구동부를 갖는 전자의수의 작동방법에 있어서, 전자의수 일측에 구비된 카메라가 전방측을 촬상하여 파지대상물체가 포함된 촬상데이터를 획득하고, 상기 전자의수 일측에 구비된 레이저조사부를 통해 파지대상물체에 레이저를 조사하는 단계; 제어부가 상기 카메라에서 촬상된 촬상데이터와, 상기 레이저 조사부에 의해 조사된 레이저 위치를 기반으로 상기 촬상데이터 내에 파지대상물체를 인식하는 단계; 및 상기 제어부가 상기 파지대상물체를 인식하면 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 단계;를 포함하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법으로서 달성될 수 있다.

그리고 상기 파지대상물체를 인식하는 단계에서, 상기 제어부는, 상기 촬상데이터 내의 물체를 인식하고, 인식된 상기 물체 중, 상기 촬상데이터 내의 조사된 레이저 포인트 위치에 가장 근접한 물체를 파지대상물체로 인식하거나, 또는 상기 레이저 조사부에 의해 조사되는 레이저 포인트는 상기 촬상데이터에서 중심을 향하도록 설정되며 상기 제어부는 상기 촬상데이터의 중심점에 가장 근접한 물체를 파지대상물체로 인식하는 것을 특징으로 할 수 있다.

또한 상기 레이저 포인트 위치 또는 중심점에 가장 근접한 물체가 2개 이상으로 인식되는 경우, 착용자는 상기 레이저 조사부에 의해 조사되는 레이저가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 상기 제어부는 레이저에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체로 인식하는 것을 특징으로 할 수 있다.

그리고 상기 착용자의 팔 일측에 부착되어 팔 근육의 활동전위를 측정하여 상기 제어부로 전송하는 근전도센서;를 더 포함하고, 상기 레이저를 조사하는 단계는, 착용자가 팔근육을 움직이고 상기 제어부는 근육활성화신호를 인식하여 카메라와 레이저조사부를 작동시키도록 제어하는 단계; 및 착용자가 상기 레이저조사부를 통해 파지대상물체에 레이저를 조사하고, 착용자가 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 카메라에 의해 촬상된 촬상데이터를 상기 제어부로 전송하는 단계;를 포함하는 것을 특징으로 할 수 있다.

또한 상기 파지대상물체를 인식하는 단계 후에, 상기 제어부는 상기 파지대상물체의 형태를 분석하여 그립 준비 손동작이 시행되도록 하며, 상기 파지하도록 제어하는 단계는, 착용자가 상기 전자의수를 파지대상물체로 접근시키고, 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 단계; 및 착용자가 상기 파지대상물체를 이동시켜 놓고자 할 때, 상기 파지대상물체를 이동시킨 후, 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 상기 구동부를 통해 상기 그립부가 펴지도록 제어하는 단계;를 포함하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법에 따르면, 물체의 형상을 카메라 이미지를 이용하여 자율적으로 인지하여 그에 대응되는 그립동작을 구현하는 전자의수에 대한 것으로, 기존 이미지 기반 의수시스템과의 차별점은 목표 물체를 선택하는 방법에 있으며, 기존의 시스템은 카메라 영상에 여러 물체가 있을 경우, 사용자가 실제로 잡고자 하는 물체를 선별하기가 힘들다는 점이 있는데, 이러한 한계점을 레이저를 이용하여 해결하여 정확하게 사용자가 원하는 물체를 선택하게 만들 수 있는 장점이 있다.

본 발명의 실시예에 따른 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법에 따르면, 이미지를 통한 물체 인식으로 제어하는 전자의수가 파지하고자 하는 대상이 여러 물체와 놓여있는 일반적인 상황에서 상기 대상을 쉽게 특정할 수 있고, 카메라의 초점 방향과 평행하게 부착한 레이저를 통해 사용자는 카메라의 중심을 알 수 있고 전자의수는 촬영한 이미지의 중심과 가까운 물체를 특정할 수 있으며, 기존 이미지 인식 기반 제어를 하는 전자의수는 이미지 상에 다수의 물체가 존재하는 경우 활용이 어렵지만 본 발명의 실시예에 따른 전자의수는 레이저 및 물체의 좌표를 예측하는 알고리즘을 통해 사용자가 파지하고자 하는 대상을 특정할 수 있어 이러한 어려움을 해결할 수 있는, 있는 효과를 갖는다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 제어부의 신호흐름을 나타낸 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 블록도,
도 2는 본 발명의 실시예에 따른 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수를 모식적으로나타낸 사시도,
도 3은 본 발명의 실시예에 따른 촬상데이터의 예,
도 4a는 본 발명의 실시예에 따라 중심점에 2개의 물체가 위치되는 경우의 촬상데이터 예,
도 4b는 도 4a에서 파지대상물체의 외곽을 따라 레이저를 조사하는 상태의 촬상데이터의 예,
도 5는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법의 흐름도를 도시한 것이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

이하에서는 본 발명의 실시예에 따른 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 구성, 기능, 및 그 작동방법에 대해 설명하도록 한다

도 1은 본 발명의 실시예에 따른 제어부의 신호흐름을 나타낸 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 블록도를 도시한 것이다.

그리고 도 2는 본 발명의 실시예에 따른 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수를 모식적으로나타낸 사시도를 도시한 것이다.

본 발명의 실시예에 따른 전자의수(100)는, 도 2에 도시된 바와 같이, 팔에 부착되는 암부(1)와, 이러한 암부(1)의 일단에 결합되어 물체를 파지하도록 구동되는 그립부(2)와, 그립부(2)를 구동하는 구동부(3)를 갖는 전자의수(100)로서, 카메라(10)와, 레이저조사부(20)와, 제어부(40) 등을 포함하고 있음을 알 수 있다.

카메라(10)는 전자의수(100) 일측에 구비되어 전방측을 촬상하여 촬상데이터를 획득하도록 구성된다. 카메라(10)는 파지대상물체(5)를 촬영하여 그 촬상데이터를 제어부(40)로 전송하기 위한 것이다.

레이저조사부(20)는 전자의수(100) 일측에 구비되어 착용자에 의해 파지하고자 하는 물체 즉, 파지대상물체(5)에 레이저(4)를 조사할 수 있도록 마련된다. 즉, 예를 들어 도 2에 도시된 바와 같이, 레이저조사부(20)는 카메라(10)에 상부에 위치되어, 착용자가 파지대상물체(5)를 촬상데이터 중심에 위치시키기 위한 장치로, 카메라(10)와 동일한 방향을 향하도록 부착한다.

그리고 제어부(40)는 인공지능 알고리즘이 실행되며, 카메라(10)에서 촬상된 촬상데이터와, 레이저조사부(20)에 의해 조사된 레이저(4) 위치를 기반으로 촬상데이터 내에 파지대상물체(5)를 인식하도록 구성된다. 즉, 제어부(40)는 전자의수(100)를 이루는 나머지 구성의 전체 제어를 담당하며 또한 물체 인식 알고리즘을 처리하는 부분이다. 착용자가 레이저조사부(20)로 파지(그립)하고자 하는 물체(파지대상물체(5))를 특정하면 카메라(10)로 촬영한 촬상데이터의 중심에 특정한 물체가 위치하게 된다.

제어부(40)에서 물체 인식 알고리즘을 통해 전송받은 촬상데이터 내에 있는 모든 물체의(이미지 상에서의) 위치를 구하고 그 중 이미지의 중심과 가장 가까운 물체를 파지대상물체(5)로 특정한다. 그 후 파지대상물체(5)의 형태에 따라 전자의수(100)의 그립동작을 선택하여 구동부(3)를 통해 그립부(2)의 움직임을 제어한다.

도 3은 본 발명의 실시예에 따른 촬상데이터의 예를 도시한 것이다. 레이저조사부(20)에 의해 조사되는 레이저 포인트(4) 위치는 촬상데이터에서 중심을 향하도록 설정되며, 본 발명의 실시예에 따른 제어부(40)는, 촬상데이터 내에 다수의 물체를 인식하고, 인식된 상기 물체 중, 중심점에 가장 근접한 물체를 파지대상물체(5)로 인식하게 된다.

또는 촬상데이터 내의 조사된 레이저 포인트(4) 위치에 가장 근접한 물체를 파지대상물체(5)로 인식하게 된다.

그리고, 레이저 포인트(4) 위치 또는 중심점에 가장 근접한 물체가 2개 이상으로 인식되는 경우, 착용자는 레이저조사부(20)에 의해 조사되는 레이저(4)가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 제어부(40)는 레이저(4)에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체(5)로 인식하게 된다.

도 4a는 본 발명의 실시예에 따라 중심점에 2개의 물체가 위치되는 경우의 촬상데이터 예를 나타낸 것이고, 도 4b는 도 4a에서 파지대상물체(5)의 외곽을 따라 레이저(4)를 조사하는 상태의 촬상데이터의 예를 나타낸 것이다.

즉, 이미지상의 중심점에 2개 또는 그 이상의 물체가 놓여 있는 경우에는 레이저포인트(4)의 움직임을 사용하도록 한다. 예를 들어, 착용자는 현실세계에서의 레이저 포인트(4)가 물체의 외곽선을 따라 움직이도록 하고 이미지처리 알고리즘은 이를 분석하여 중심점에 존재하는 다수의 사물 중에서 사용자가 원하는 물체를 선택할 수 있게 된다. 또는 착용자가 레이저 포인트(4)가 물체들이 겹치지 않는 부분에서만 움직이게 함으로써 이미지처리 알고리즘이 사용자가 잡고자 하는 물체들을 선택할 수 있다.

그리고 제어부(40)는 파지대상물체(5)를 인식하면 구동부(3)를 구동하여 그립부(2)에 의해 상기 파지대상물체(5)를 파지하도록 제어하게 된다.

또한 본 발명의 실시예에 따르면, 착용자의 팔 일측에 부착되어 팔 근육의 활동전위를 측정하여 제어부(40)로 전송하는 근전도센서(30)를 포함할 수 있다.

제어부(40)는 근전도센서(30)에서 측정된 활동전위를 기반으로 근육활성화신호를 감지하며 근육활성화신호를 기반으로 카메라(10), 제어부(40), 및 레이저조사부(20) 중 적어도 어느 하나의 시행여부를 결정하게 된다.

즉, 근전도센서(30)는 전자의수(100) 착용자의 팔에 부착되어 팔 근육의 활동전위를 측정하고 그 값을 제어부에 전달하는 구성이다. 종래의 전자의수는 근전도센서(30)를 통해 다양한 그립동작 중에서 하나를 선택해야 하기 때문에 분류오차가 크다. 하지만 본 발명의 실시예에 따른 전자의수(100)에서는 근전도 신호를 통해 다양한 기능들(카메라(10) 촬영, 이미지 알고리즘, 의수의 그립동작)의 시행시점만을 지정하면 되기 때문에 단순한 이진분류만으로도 충분히 의수제어가 가능하다. 그러므로 근전도 신호 분석오차를 획기적으로 줄일 수 있다.

이하에서는 앞서 언급한 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수에 대한 작동방법에 대해 설명하도록 한다. 도 5는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법의 흐름도를 도시한 것이다.

먼저, 착용자가 팔근육을 움직이게 되면 제어부(40)는 근육활성화신호를 인식하여(S1) 카메라(10)와 레이저조사부(20)를 작동시키도록 제어하게 된다(S2). 즉, 근전도센서(30)는 팔의 일측에 부착되어 팔근육의 근전도 신호를 측정하고 제어부(40)로 신호 값을 보낸다. 제어부(40)는 근전도신호를 분석하여 첫 번째 근육활성화 신호를 인식하여 이를 이미지 분석의 시작시점으로 정한다. 제어부(40)는 시작과 동시에 카메라(10)와 레이저조사부(20)를 작동한다.

그리고 착용자가 레이저조사부(20)를 통해 파지대상물체(5)에 레이저(4)를 조사하고(S3), 착용자가 팔근육을 움직이면 제어부(40)는 두번째 근육활성화신호를 인식하여(S4) 카메라(10)에 의해 촬상된 촬상데이터를 제어부(40)로 전송하게 된다(S5). 즉, 착용자는 파지대상물체(5)를 레이저(4)로 가리킨 후에 상기한 바와 같이 팔근육을 움직임으로써 신호를 준다. 제어부(40)는 근전도센서(30)로부터 두 번째 근육활성화 신호가 감지되었을 때, 카메라(10)로 이미지를 촬영하고 촬영한 촬상데이터를 제어부(40)에 전송한다.

그리고 제어부(40)는 카메라(10)에서 촬상된 촬상데이터와, 레이저조사부(20)에 의해 조사된 레이저(4) 위치를 기반으로 촬상데이터 내에 파지대상물체(5)를 인식하게 된다(S6).

이러한 각 단계에 대한 정보는 전자의수(100) 일측에 설치된 알림수단(50)을 통해 실시간으로 착용자에게 알려주도록 할 수 있다. 알림수단(50)은 음성신호, 디스플레이 등 다양한 수단등으로 구성될 수 있다.

이때, 제어부(40)는, 촬상데이터 내의 물체를 인식하고, 인식된 물체 중, 촬상데이터 내의 조사된 레이저 포인트(4) 위치에 가장 근접한 물체를 파지대상물체(5)로 인식할 수 있다. 또는 레이저조사부(20)에 의해 조사되는 레이저 포인트(4)는 항상 촬상데이터에서 중심을 향하도록 설정되며, 제어부(40)는 촬상데이터의 중심점에 가장 근접한 물체를 파지대상물체(5)로 인식하게 할 수 있다. 파지대상물체(5)가 인식되며 인식여부를 알림수단(50)을 통해 착용자에게 알려줄 수 있다.

또한 레이저 포인트(4) 위치 또는 중심점에 가장 근접한 물체가 2개 이상으로 인식되는 경우, 알림수단(50)은 2개 이상의 물체가 인식되었음을 알리고, 착용자는 레이저조사부(20)에 의해 조사되는 레이저(4)가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 제어부(40)는 레이저(4)에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체(5)로 인식하게 된다.

그리고 제어부(40)는 파지대상물체(5)를 인식하면 구동부(3)를 구동하여 그립부(2)에 의해 파지대상물체(5)를 파지하도록 제어하게 된다.

구체적으로, 제어부(40)는 파지대상물체(5)의 형태를 분석하여(S7) 그립 준비 손동작이 시행되도록 하며, 착용자가 전자의수(100)를 파지대상물체(5)로 접근시키고, 팔근육을 움직이면 제어부(40)는 세번째, 근육활성화신호를 인식하여(S8) 구동부(3)를 구동하여 그립부(2)에 의해 파지대상물체(5)를 파지하도록 제어하게 된다(S9).

그리고 착용자는 파지대상물체(5)를 이동시켜 놓고자 할 때, 파지대상물체(5)를 이동시킨 후, 팔근육을 움직이면 제어부(40)는 네번째 근육활성화신호를 인식하여 구동부(3)를 통해 그립부(2)가 펴지도록 제어하게 된다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

1:암부
2:그립부
3:구동부
4:레이저, 레이저 포인트
5:파지대상물체
10:카메라
20:레이저조사부
30:근전도센서
40:제어부
50:알림수단
100:카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수

Claims (10)

1. 팔에 부착되는 암부와, 상기 암부의 일단에 결합되어 물체를 파지하도록 구동되는 그립부와 상기 그립부를 구동하는 구동부를 갖는 전자의수에 있어서,
   상기 전자의수 일측에 구비되어 전방측을 촬상하는 카메라;
   상기 전자의수 일측에 구비되어 착용자에 의해 파지하고자 하는 물체에 레이저를 조사하는 레이저 조사부;
   상기 카메라에서 촬상된 촬상데이터와, 상기 레이저 조사부에 의해 조사된 레이저 위치를 기반으로 상기 촬상데이터 내에 파지대상물체를 인식하는 제어부; 및
   상기 착용자의 팔 일측에 부착되어 팔 근육의 활동전위를 측정하여 상기 제어부로 전송하는 근전도센서;를 포함하고,
   상기 제어부는, 상기 촬상데이터 내의 물체를 인식하고, 인식된 상기 물체 중, 상기 촬상데이터 내의 조사된 레이저 포인트 위치에 가장 근접한 물체를 파지대상물체로 인식하고,
   상기 레이저 포인트 위치에 가장 근접한 물체가 2개 이상으로 인식되는 경우,
   착용자는 상기 레이저 조사부에 의해 조사되는 레이저가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 상기 제어부는 레이저에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체로 인식하며,
   상기 제어부는 상기 활동전위를 기반으로 근육활성화신호를 감지하며 상기 근육활성화신호를 기반으로 카메라, 제어부, 및 레이저조사부 중 적어도 어느 하나의 시행여부를 결정하고,
   상기 레이저 조사부를 통한 레이저 조사는, 착용자가 팔근육을 움직이고 상기 제어부는 근육활성화신호를 인식하여 카메라와 레이저조사부를 작동시키도록 제어하고, 착용자가 상기 레이저조사부를 통해 파지대상물체에 레이저를 조사하고, 착용자가 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 카메라에 의해 촬상된 촬상데이터를 상기 제어부로 전송하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 제어부는 상기 파지대상물체를 인식하면 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수.
   
5. 삭제
6. 팔에 부착되는 암부와, 상기 암부의 일단에 결합되어 물체를 파지하도록 구동되는 그립부와 상기 그립부를 구동하는 구동부를 갖는 제 1항에 따른 전자의수의 작동방법에 있어서,
   전자의수 일측에 구비된 카메라가 전방측을 촬상하여 파지대상물체가 포함된 촬상데이터를 획득하고, 상기 전자의수 일측에 구비된 레이저조사부를 통해 파지대상물체에 레이저를 조사하는 단계;
   제어부가 상기 카메라에서 촬상된 촬상데이터와, 상기 레이저 조사부에 의해 조사된 레이저 위치를 기반으로 상기 촬상데이터 내에 파지대상물체를 인식하는 단계; 및
   상기 제어부가 상기 파지대상물체를 인식하면 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 단계;를 포함하고,
   상기 파지대상물체를 인식하는 단계에서,
   상기 제어부는, 상기 촬상데이터 내의 물체를 인식하고, 인식된 상기 물체 중, 상기 촬상데이터 내의 조사된 레이저 포인트 위치에 가장 근접한 물체를 파지대상물체로 인식하고,
   상기 레이저 포인트 위치에 가장 근접한 물체가 2개 이상으로 인식되는 경우,
   착용자는 상기 레이저 조사부에 의해 조사되는 레이저가 파지하고자하는 물체의 외곽을 따라 이동되도록 하고, 상기 제어부는 레이저에 의해 조사되는 외곽선에 대응되는 물체를 파지대상물체로 인식하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법.
   
7. 삭제
8. 삭제
9. 제 6항에 있어서,
   착용자의 팔 일측에 부착되어 팔 근육의 활동전위를 측정하여 상기 제어부로 전송하는 근전도센서;를 더 포함하고,
   상기 레이저를 조사하는 단계는,
   착용자가 팔근육을 움직이고 상기 제어부는 근육활성화신호를 인식하여 카메라와 레이저조사부를 작동시키도록 제어하는 단계; 및
   착용자가 상기 레이저조사부를 통해 파지대상물체에 레이저를 조사하고, 착용자가 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 카메라에 의해 촬상된 촬상데이터를 상기 제어부로 전송하는 단계;를 포함하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법.
   
10. 제 9항에 있어서,
    상기 파지대상물체를 인식하는 단계 후에, 상기 제어부는 상기 파지대상물체의 형태를 분석하여 그립 준비 손동작이 시행되도록 하며,
    상기 파지하도록 제어하는 단계는,
    착용자가 상기 전자의수를 파지대상물체로 접근시키고, 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 상기 구동부를 구동하여 상기 그립부에 의해 상기 파지대상물체를 파지하도록 제어하는 단계; 및
    착용자가 상기 파지대상물체를 이동시켜 놓고자 할 때, 상기 파지대상물체를 이동시킨 후, 팔근육을 움직이면 상기 제어부는 근육활성화신호를 인식하여 상기 구동부를 통해 상기 그립부가 펴지도록 제어하는 단계;를 포함하는 것을 특징으로 하는 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수의 작동방법.

Images