KR102595257B1

KR102595257B1 - 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Info

Publication number: KR102595257B1
Application number: KR1020230035182A
Authority: KR
Inventors: 강윤; 정주노
Original assignee: 강윤
Priority date: 2023-03-17
Filing date: 2023-03-17
Publication date: 2023-11-01

Abstract

본 발명의 일 실시예에 따른 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템은 사용자의 위치좌표, 손목 피부 표면의 높낮이 변화에 따른 손 제스처, 팔의 움직임, 손목 압을 측정 및 제공하는 스마트 손목밴드; 및 사용자의 위치좌표를 기초로 생성한 로봇 이동궤적 또는 로봇 이동경로를 따라 사용자와 기 설정된 간격으로 이동하며, 상기 팔의 움직임 및/또는 손 제스처에 따라 다양한 동작을 수행하는 모바일 로봇을 포함한다.

Description

제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법{System and method for human tracking and interaction of mobile robots based on gesture recognition}

본 발명은 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법에 관한 것이다.

모바일 로봇은 자율주행을 수행하기 위해 로봇 본체에 부착된 2D/3D라이다, RGB 및 Depth 카메라, IMU, 모터의 엔코더, 그리고 실외 주행의 경우 GPS 수신기 등으로부터 수신한 데이터의 센서 퓨전(sensor fusion) 및 칼만 필터(Kalman filter) 등의 필터링 과정을 거쳐 SLAM과 Navigation을 구현한다.

이에 더하여 모바일 로봇 본체 외부의 센서를 활용하는 경우에는 Wi-Fi, 블루투스 등의 신호를 활용하는 Beacon 기술 등을 사용하여 오차를 보정하고 한정된 장소에서 로봇의 위치를 파악한다. 이렇게 로봇이 목표 지점까지의 자율주행을 수행하는 기술이 고도화되고 있음에 따라 인간-로봇 공존 사회의 발전 또한 이와 동행하고 있기에 자율주행 로봇이 특정 인간을 따라가는 추종기술 연구 또한 이루어지고 있다.

모바일 로봇은 위에서 언급한 로봇 내부의 센서들을 활용하며 장애물과의 충돌회피를 통한 자율주행을 수행함 동시에 RGB 카메라를 통한 로봇 비전을 주로 사용하며 이와 함께 2D 라이다 센서 및 depth 카메라가 사용된다.

이렇게 대표적으로 사용되는 센서는 추종 대상인 인간, 그리고 로봇 사이에 외부인 등의 동적 장애물이 끼어들게 되는 경우에 일시적으로 유의미한 데이터 확보가 불가능해지며 이는 시스템의 치명적인 외란으로 작용한다.

이러한 로봇에 부착된 2D 라이다 및 RGB 또는 Depth 카메라뿐만 아니라 위에서 언급한 본체 외부의 센서를 활용하는 경우는 더욱이 장소의 제한 때문에 활용이 힘든 상황이다.

추가로 현재 상용화 되어있는 UWB radio location을 통한 모바일 로봇 인간 추종 기법은 리모컨을 쥐고 있는 인간을 추종하는 방식이다. 이는 UWB radio의 특성상 동작 거리가 매우 짧으며 로봇 바라보고 있는 상태에서 리모컨을 쥐고 있는 손을 인간의 몸체 뒤로 등지거나 로봇과 인간 사이에 인간이 끼어들면 추종이 불가해지는 경우가 있다.

공개특허공보 제10-2022-0073282호

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템은 손목 피부 표면의 높낮이 변화에 따른 손 제스처, 팔의 제스처에 따른 IMU 데이터 및 손목 압을 측정 및 제공하는 스마트 손목밴드; 및 상기 스마트 손목밴드의 상기 IMU 데이터를 기초로 생성한 로봇 궤적경로를 따라 사용자와 기 설정된 간격으로 이동하며, 상기 팔의 제스처 및/또는 손 제스처에 따라 다양한 자율주행동작을 수행하는 모바일 로봇을 포함하고, 상기 스마트 손목밴드는 적어도 하나 이상의 압력센서를 이용하여 손가락 각각의 움직임에 따라 발생되는 손목 피부의 굴곡에 대한 힘줄 압력을 측정하고, 상기 압력센서는 손가락 각각의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치에 배열되고, 상기 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식하는 것을 특징으로 한다.

삭제

일 실시예에서, 상기 모바일 로봇은 상기 IMU 데이터로부터 팔의 궤적정보를 추출하고, 역운동학 알고리즘을 이용하여 팔 관절 각도를 도출한 후, 도출된 팔 관절 각도를 기초로 팔의 제스처를 추정하는 것을 특징으로 한다.

일 실시예에서, 상기 모바일 로봇은 2D/3D 라이다 및 RGB/Depth 카메라를 통해 추적 대상인 사용자와의 이격된 공간 또는 거리 내에 끼어드는 장애물을 감지하는 것을 특징으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 방법은 스마트 손목밴드에서 착용자의 손 제스처, 팔 제스처(궤적)에 따른 IMU 데이터 및 손목의 힘줄 압력 데이터를 측정하여 제공하는 단계; 모바일 로봇에서 상기 IMU 데이터를 기초로 생성한 로봇 궤적경로로 이동하면서 사용자를 추종하는 단계; 및 상기 모바일 로봇이 이동 중 또는 이동 정지 중, 사용자가 설정한 팔의 움직임 및/또는 손 제스처를 인식하면, 인식된 제스처로 설정된 적어도 하나 이상의 로봇 동작이 수행되도록 동작하는 단계를 포함하고, 상기 스마트 손목밴드는 적어도 하나 이상의 압력센서를 이용하여 손가락 각각의 움직임에 따라 발생되는 손목 피부의 굴곡에 대한 힘줄 압력을 측정하고, 상기 압력센서는 손가락 각각의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치에 배열되고, 상기 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식하는 것을 특징으로 한다.

따라서, 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법을 이용하면, IMU 모션 트랙킹 알고리즘을 통해 도출할 수 있는 인간의 이동경로에 따라 로봇의 목표 궤적경로를 실시간 생성하고, Pure Pursuit Control 등의 자율주행 로봇의 궤적 추종 기법을 사용하여 인간의 움직임을 추종할 수 있다는 이점이 있다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템의 구성도이다.
도 3은 도 1에 도시된 손목 밴드 내의 압력센서의 위치를 표시한 예시도이다.
도 4는 검지손가락이 구부러지는 손목 힘줄 해부학 및 검지 동작으로 인한 손목의 곡률 변화를 설명하기 위한 예시도이다.
도 5는 도 1에 도시된 스마트 손목밴드 내에 배열된 각 압력센서의 위치 도이다.
도 6은 각 손가락 움직임으로 인해 손목 피부에서 가장 눈에 띄는 깊이 변화의 센서 위치('+'마크)를 3D Depth 카메라(ZiVID One Plus Medium, ZiVID, Norway)를 이용하여 3차원 포인트 클라우드(Point Cloud) 데이터를 통해 도출한 도이다.
도 7은 손가락 움직임에 의한 손목 피부 곡률의 깊이 변화를 나타낸 그래프로서, (a) 엄지 휨, (b) 검지 휨, (c)중지 휨.
도 8은 도 1에 도시된 압력센서의 회로도의 예시도이다.
도 9는 (a) 중립 상태, (b) 엄지손가락 굽힘, (c) 검지손가락 굽힘, (d) 중지 굽힘, (e) 파워 그립, (f) 두 손가락 끼임 및 (g) 세 손가락 끼임 동안 스마트 손목 밴드의 압력 변화를 표시한 그래프이다.
도 10은 3명의 피험자에 대해 세가지 자세(중립상태, 두 손가락 꼬집기, 세 손가락 꼬집기)에 대한 압력 변화를 나타낸 그래프이다.
도 11은 정지 및 벤딩 동작 중 압력센서로부터 측정된 압력 데이터를 나타낸 표이다.
도 12 및 도 13은 스마트 손목밴드를 통해 모바일 로봇이 인간의 이동경로를 추종하는 예시도이다.
도 14는 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 방법을 설명한 흐름도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마

찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법을 보다 상세하게 설명하도록 한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템의 구성도이고, 도 3은 도 1에 도시된 손목 밴드 내의 압력센서의 위치를 표시한 예시도이고, 도 4는 검지손가락이 구부러지는 손목 힘줄 해부학 및 검지 동작으로 인한 손목의 곡률 변화를 설명하기 위한 예시도이고, 도 5는 도 1에 도시된 스마트 손목밴드 내에 배열된 각 압력센서의 위치 도이고, 도 6은 각 손가락 움직임으로 인해 손목 피부에서 가장 눈에 띄는 깊이 변화의 센서 위치('+'마크)를 3D Depth 카메라(ZiVID One Plus Medium, ZiVID, Norway)를 이용하여 3차원 포인트 클라우드(Point Cloud) 데이터를 통해 도출한 도이고, 도 7은 손가락 움직임에 의한 손목 피부 곡률의 깊이 변화를 나타낸 그래프로서, (a) 엄지 휨, (b) 검지 휨, (c)중지 휨.

도 8은 도 1에 도시된 압력센서의 회로도의 예시도이고, 도 9는 (a) 중립 상태, (b) 엄지손가락 굽힘, (c) 검지손가락 굽힘, (d) 중지 굽힘, (e) 파워 그립, (f) 두 손가락 끼임 및 (g) 세 손가락 끼임 동안 스마트 손목 밴드의 압력 변화를 표시한 그래프이고, 도 10은 3명의 피험자에 대해 세가지 자세(중립상태, 두 손가락 꼬집기, 세 손가락 꼬집기)에 대한 압력 변화를 나타낸 그래프이고, 도 11은 정지 및 벤딩 동작 중 압력센서로부터 측정된 압력 데이터를 나타낸 표이고, 도 12 및 도 13은 스마트 손목밴드를 통해 모바일 로봇이 인간의 이동경로를 추종하는 예시도이다.

먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템(1000)은 스마트 손목밴드(100) 및 모바일 로봇(200)을 포함한다.

상기 스마트 손목밴드(100)는 IMU가 부착된 스마트 밴드로서, 손목의 피부 표면의 높낮이 변화 고려를 이용하여 손 제스처를 인식하도록 동작하는 구성일 수 있다.

상기 스마트 손목밴드(100)는 손가락 관절의 움직임을 제공하는 근육의 수축 및 이완으로 인한 힘줄의 당겨짐으로 인한 손목 압력을 측정하는 구성일 수 있다.

예컨대, 팔에 배치된 근육들은 제작기의 힘줄들과 연결이 되어있으며 그 힘줄들은 각 손가락의 뼈마디에 연결되어 있다.

손바닥 면 방향(anterior)에 존재하는 힘줄과 근육은 손가락을 펴기 위한 역할을 하며 손 등 면 방향(posterior)은 손가락을 굽히기 위한 역할로써 존재한다.

엄지를 제외한 4개 손가락(검지, 약지, 중지, 소지) 관절은 얕은손가락굽힘근(Flexor digitorum superficialis muscles) 수축에 의한 천지굴건(Flexor digitorum superficialis tendons)의 당겨짐으로 인해 굽혀지게 되고, 손가락폄근(Extensor digitorum muscle)의 수축에 의한 지신건(Extensor digitorum tendon)의 당겨짐으로 인해 펴지게 된다. 엄지는 긴엄지굽힘근(Flexor pollicis longus muscle)의 수축으로 인한 장수무지굴건(Flexor pollicis longus tendon)의 당겨짐을 통해 굽혀지게 되고 긴엄지폄근(Extensor pollicis longus muscle)의 수축으로 인한 장수무지신건(Extensor pollicis longus muscle)의 당겨짐을 통해 펴지게 된다.

예로 들어, 도 5를 참조, 검지는 편 상태(relaxed)에서 굽힌 상태(bent)로 동작하면 검지 손가락을 담당하는 긴엄지굽힘근(b)의 수축에 의하여 장수무지굴건(a)이 당겨져 검지손가락이 굽혀질 수 있게 된다.

손목 힘줄은 손목으로부터 아래팔로 갈수록 두께가 두꺼워진다. 이 때문에 손가락을 굽힐 때에는 상대적으로 얇은 두께의 힘줄이 손목을 통해 손목 아래로 하강한다.

이에 따라 아래팔로 당겨져 내려온 힘줄에 의해서 손목에서는 체적 감소가 발생된다. 이렇게 얇은 굵기의 힘줄이 손목으로 이동됨에 따라 나머지 손목 힘줄들의 밀집된 형태를 변형하게 되고 이와 동시에 손목 표면에서는 피부 굴곡의 깊이 변화가 발생한다.

이러한 손목 피부 표면의 높낮이 변화는 각 손가락의 동작 및 이를 조합함으로써 나타나는 특정 제스처에 따라서도 독립적으로 차별 및 구분되어 나타나는 특징을 보인다.

검지손가락을 굽힌 상태(c)에서는 검지손가락을 폈을 때(d)와 달리 피부 표면의 높낮이 변화가 발생했음을 확인할 수 있다.

즉, 상기 스마트 손목밴드(100)는 손가락 관절과 연결된 손목 힘줄에 발생되는 압력의 변화을 통해 손동작을 실시간으로 인식하는 구성일 수 있다.

이에 스마트 손목밴드(100)는 해부학적으로 독립 구분(de-couple)되는 손가락인 (a) 엄지, (b) 중지, (c) 검지의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치를 기반으로 압력센서가 배열된다.

도 6을 참조, 압력센서의 위치(지점)은 손을 편 상태, 엄지, 검지, 그리고 중지를 굽혔을 때 제각기 나타나는 손목의 높낮이 변화를 3D Depth 카메라(ZiVID One Plus Medium, ZiVID, Norway)를 이용하여 3차원 포인트 클라우드(Point Cloud) 데이터를 통해 도출한 위치일 수 있고, 선정된 손목 위 세 지점은 [표 1]을 통해 확인할 수 있다.

[표 1]

3D Depth 카메라로부터 가장 가까운 거리의 손목 앞면은 촬영된 3차원 공간의 원점(0, 0, 0)으로 설정했으며, 여기서 손목의 distal, posterior, ventral 방향을 X, Y, Z(Height) 축으로 지정되었다.

도 6은 손을 편 상태(a)와 비교하여 엄지(b), 검지(c), 중지(d)를 굽힌 상태에서 손목 피부 표면의 높낮이 변화가 가장 크게 변화하는 지점을 '+' 마크로 표기한 결과이다.

도 6을 참조, 이 세 지점을 기준으로 손목 단면의 데이터를 살펴보면 하기의 도 8과 같이 손목 피부 표면의 높낮이 변화를 시각적으로 확인 가능하다.

도 7은 손을 편 상태(rest)에서 [표 1]의 위치가 표기된 도 6의 각 '+' 마크 지점을 기준으로 엄지, 검지, 그리고 중지를 굽혔을 때 변위 차가 가장 크게 발생한 한 점의 위치를 X-Z(Height) 평면으로 도출한 결과이다.

즉, 스마트 손목밴드 내의 압력센서의 위치는 손가락 움직임에 의한 손목 피부 곡률의 깊이 변화에 대한 변위 차가 가장 큰 지점을 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치이다.

해당 지점에 배치된 압력센서는 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식한다.

한편, 상기 압력센서(Interlink Electronics FSR 400, USA)는 0에서 10 N 사이의 압력 측정 범위를 가지며 0에서 5 V의 출력 전압 범위를 갖는다.

손을 자연스럽게 편 상태(neutral state)에서 엄지, 검지, 중지를 굽히게 되면 이를 담당하는 각 센서에 가해지는 압력은 감소하게 된다. 따라서 손을 편 상태에서 밴드 내부에는 일정한 압력이 유지되어야 하며 본 상태를 기본자세 즉 중립상태로 삼는다.

상기 스마트 손목밴드(100)는 압력 데이터 측정 과정에서 손을 편 상태에서 각 압력센서의 평균 출력 전압값이 2V가 유지되도록 설정된다.

상기 압력센서의 회로는 도 8을 참조, 노이즈를 제거하기 위한 저역 통과 필터링(Low-Pass Filtering) 과정을 프로그래밍을 통하여 실시간으로 적용하였다. 또한 압력 데이터 밴드 내에서 발생하는 압력이 각 센서에 가해질 때, 전압이 가장 완만하게 변화하며 출력되는 결과를 얻기 위하여 압력센서의 제조사에서 제공하는 여러 기준 저항 값에 따른 출력 전압 데이터 시트를 참고하였다. 값은 참고한 데이터를 바탕으로 아래의 식(1)을 통해 도출할 수 있었다.

[식 1]

각 압력센서의 출력 전압 은 하기의 식 2를 통하여 실시간 출력된다.

[식 2]

도 9는 손 제스처에 따른 손목의 압력 변화로 인한 출력 전압값을 측정한 실험 결과 그래프이다.

도 9의 실험결과는 밴드를 착용하고 손을 편 상태에서 약 4초간 손가락을 굽히는 동작을 취한 상태에서 (b) 엄지, (c) 검지, (d) 중지에 대한 3번의 측정값일 수 있다.

제스처는 (a) 손을 편 상태(neutral state)를 기본자세로 하고, 엄지, 검지, 중지를 독립적으로 동작하는 경우와 이를 활용 및 융합한 동시 제어인 (e) 물체 쥐기(power grasping), (f) 두 손가락 핀칭(two-finger pinching)과 (g) 세 손가락 핀칭(three-finger pinching)으로 구분된다.

엄지를 담당하는 압력센서의 출력 전압은 검지와 중지에 비해 대부분의 실험에서 비교적 낮게 출력됨을 알 수 있다.

손을 편 중립 상태에서는 세 손가락을 담당하는 신호 모두 안정적으로 일정하게 유지되고 있다.

엄지 동작과 검지 동작에서는 다른 손가락을 담당하는 신호의 간섭을 거의 받지 않음을 알 수 있으며 일정한 신호를 독립적으로 유지하는 경향을 보인다.

중지 동작에서는 손가락의 구별에 방해를 주지는 않지만 검지를 담당하는 신호가 약 0.3V의 간섭을 받는데, 이는 센서 간 근접한 거리가 원인일 수 있다.

물체를 쥐는 손동작을 취했을 때에는 세 손가락을 담당하는 신호 모두 일정하게 감소됨을 알 수 있다.

두 손가락 물체를 쥐기에서는 사용된 엄지와 검지의 신호가, 물체 쥐기에서는 사용된 엄지, 검지, 중지의 신호가 다른 신호에 비해 뚜렷하게 감소함으로써 구분되고 있음을 파악할 수 있다.

이렇게 제스처에 따라 사용되는 손가락의 신호가 독립적인 경향을 띠는 것을 확인할 수 있다.

또한 각 손가락을 담당하는 신호가 실시간 및 연속적으로 뚜렷하게 감소되며 차별되는 특징을 보이고 있음을 알 수 있다.

따라서 패턴인식 등의 기계학습이 수반하는 시간 지연이 없는 실시간 일대일 제어가 가능함을 확인할 수 있다.

앞서 측정한 데이터가 더 일반적으로 성립될 수 있음을 확인하기 위해 피험자를 참여시켜 일관성 여부 판단을 위한 실험을 다음과 같이 진행한 실험은 건장한 성인 남성 3명을 선정하여 진행하였다.

선정된 피험자는 주 연구자의 손목 둘레를 기준으로 하고 이보다 약 20% 짧은 대상을 피험자 1, 기준과 유사한 대상을 피험자 2, 기준보다 약 20% 긴 대상을 피험자 3으로 지정한다.

각 피험자는 스마트 손목 밴드를 손목에 착용하고 주 연구자의 지시에 따라 손을 편 상태(neutral state), 두 손가락 핀칭(two-finger pinching), 세 손가락 핀칭(three-finger pinching)으로 총 3가지 동작을 수행한다.

각 동작은 10초간 수행하되, 초반 약 3초간 휴지기 상태에서 약 4초간 동작을 취하고 다시 약 3초간 다시 휴지기 상태로 복귀하는 과정을 통해 이루진다.

피험자 기반의 실험 결과인 도 9에서 손을 편 중립 상태(0~10초)에서는 모든 피험자의 신호가 안정적으로 일정하게 유지되는 경향성을 보인다.

두 손가락 핀칭(10~20초)에서는 모든 피험자의 굽혀진 엄지와 검지의 신호가 중지 신호에 비해 뚜렷하게 감소함을 알 수 있다.

세 손가락 핀칭(20~30초)에서는 모든 피험자의 엄지, 검지, 중지의 신호가 뚜렷하게 감소하고 있다. 여기서 연구자의 데이터([Fig. 7])와 다른 점은 피험자 2의 경우 굽히지 않은 중지 신호(b)는 증가하고, 피험자 1의 중지 신호(a)는 미소한 감소 및 증가를 연속적으로 보인다.

즉, 데이터의 분석에서 언급한 중지 신호의 간섭 현상은 미소한 감소뿐만 아니라 증가하는 신호의 형태로도 나타날 수 있음을 알 수 있다.

또한 데이터와 동일하게 모든 피험자의 데이터에서 엄지의 신호는 검지와 중지에 비해 비교적 낮게 출력됨을 알 수 있다. 이는 엄지를 동작함에 따라 나타나는 손목 피부 표면의 높낮이 변화가 검지와 중지의 동작에 비해서 크게 나타나는 현상이 원인으로 판단된다.

이와 유사하게 도 7의 (b)와 (c)에서는 검지와 중지의 동작에 따른 손목 피부 표면의 높낮이 변화가 비슷하다.

이에 따라 도 9 및 도 10의 데이터에서 검지와 중지의 두 데이터는 모두 유사한 출력 전압 범위 안에서 동작하고 있음을 알 수 있다.

따라서 피험자 기반 사용자 평가를 통해 다양한 손목 두께에서의 동작 가능성이 검증되었다.

각 손가락의 독립적인 굽힘 동작이 발생될 때 출력되는 신호의 평균 전압값을 도 11을 통해 확인한다.

이 때 사용된 굽힘 동작은 총 네 가지로, 도 9의 (a) 손을 편 상태에서 (b) 엄지, (c) 검지, (d) 중지를 굽혔을 때이다.

도 9로부터 관찰된 내용은 다섯 가지로 다음과 같이 요약될 수 있다.

첫 번째, 손을 편 상태(rest)에서는 세 손가락의 신호 모두 다른 동작들에 비해 가장 높은 전압을 일정하게 유지하고 있다.

두 번째, 엄지(thumb)를 굽혔을 때에는 엄지의 신호가 다른 세 엄지의 신호와 비교하여 명확하게 감소하였음을 알 수 있으며 중지와 약지 신호의 변화는 크지 않다.

세 번째, 검지(index)를 굽혔을 때에는 검지의 신호가 명확하게 감소하며 이때 엄지의 신호가 손을 폈을 때보다 미소하게 증가하는 특징을 보인다.

이는 동작을 취할 시 발생하는 노이즈 데이터가 평균값 도출에 영향을 준 것으로 판단된다. 네 번째, 중지(middle)를 굽혔을 때에도 마찬가지로 중지의 신호가 뚜렷한 감소를 보이고 있으며 중지와 검지의 데이터가 교차됨을 확인할 수 있다. 또한 약 2 V 내 저전압의 동작 범위 안에서도 각 손가락에 따른 신호가 이에 반 정도 되는 약 1 V의 전압 감소를 보인다.

따라서 각 손가락의 동작에 따른 신호가 모두 독립적으로 차별되어 나타나는 특징을 보이므로 각 손가락의 동작이 뚜렷하고 독립적으로 구분되어지고 있음을 확인할 수 있다.

본원에서 언급하는 스마트 손목밴드(100)에 구비된 IMU는 두 가지 역할을 한다.

첫 번째는 모바일 로봇의 추종을 위한 추종 대상 인간의 궤적 생성이며 두 번째는 손목 피부 표면의 높낮이 변화 고려를 이용하는 손 제스처 인식 기술에 더하여 팔의 움직임을 측정하는 역할을 한다.

먼저, 팔의 움직임을 측정할 때는 손목 밴드에 부착된 IMU를 통해 도출되는 팔의 궤적을 desired 궤적으로 하고 inverse kinematics를 통해 팔 관절 각도를 도출하여 모션을 추정한다.

인식된 제스처는 사전에 UI를 기반으로 사용자(로봇의 추종 대상 인간)의 의도한 제스처와 손목밴드 내 IMU의 데이터가 기계학습 과정을 통해 매칭된 결과를 기반으로 한다. 압력센서를 통한 손 제스처 인식 과정 또한 IMU를 통한 팔 제스처 인식 과정과 함께 SVM, KNN 등의 기계학습 과정을 거쳐 하나의 제스처로 최종 분류된다.

다음으로, 모바일 로봇(200)은 스마트 손목밴드의 IMU 데이터를 기초로 생성한 모바일 로봇의 궤적경로를 따라 사용자와 기 설정된 간격으로 이동하며, 스마트 손목밴드(100)에서 인식한 손 제스처 및 압력에 따라 멈추기, 당기기, 밀기, 제자리 회전 중 적어도 하나 이상의 동작을 수행하는 구성일 수 있다.

상기 모바일 로봇(200)은 스마트 손목밴드(100)를 착용한 사용자와의 기 설정된 거리 내에 끼어드는 장애물을 2D/3D 라이다 및 RGB/Depth 카메라를 통해 판단할 수 있고, 추적 대상인 사용자와의 거리 측정을 통해 스마트 손목밴드(100)에서 제공되는 IMU 데이터의 오차를 보정하는 구성일 수 있다.

보다 구체적으로, 상기 모바일 로봇(200)은 통신부(210), 제스처 인식부(220), 추정 경로 생성부(230), 자율주행 구동 및 제어부(240), 객체 감지부(250), 보조 감지부(260) 및 저장부(270)를 포함한다.

상기 통신부(210)는 스마트 손목밴드(100)와 근거리 통신(예컨대, Wifi)하며, 스마트 손목밴드로부터 IMU 센서 데이터 및 압력센서 데이터를 수신하는 구성일 수 있다.

상기 제스처 인식부(220)는 IMU(Inertial Measurement Unit) 데이터 및 FSR 데이터를 기초로 스마트 손목밴드를 착용한 착용자의 손 제스처를 인식하는 구성일 수 있다.

상기 추정 경로 생성부(230)는 사용자의 위치 이동에 따른 IMU(Inertial Measurement Unit) 데이터를 기반으로 착용자를 추종하는 모바일 로봇의 목표궤적 경로를 생성하는 구성일 수 있다.

참고로, 스마트 손목밴드(100)에서 제공되는 IMU 데이터는 가속도 3축, 자이로 3축, 지자기 3축으로 최대 총 6개의 실시간 데이터를 포함한다.

상기 자율주행 구동부(240)는 착용자와의 기 설정된 거리를 유지한 상태로, 생성된 목표궤적 경로를 따라 모바일 로봇이 자율주행하도록 조향장치 및 구동륜을 동작시키는 구성일 수 있다. 또한, 후술하는 객체 감지부(250)의 객체 감지신호에 따라 주행정지 또는 조향 방향 변경 등의 동작을 수행하는 구성일 수 있다.

또한, 자율주행 구동 및 제어부(240)는 착용자의 손 제스처, 팔 제스처에 다른 자율주행동작, 예컨대, 멈추거나, 당기거나, 밀거나, 제자리 회전 등의 동작을 수행하는 구성일 수 있다.

상기 객체 감지부(250)는 2D 라이다 및 RGB/Depth 카메라를 이용하여 착용자와 모바일 로봇 간의 공간으로 끼어든 장애물의 위치좌표를 탐지하는 구성일 수 있다.

상기 보조 감지부(260)는 레이저, 카메라 및 위치측정센서 중 적어도 하나를 포함하며, 자율주행을 위한 주변 환경 탐지를 보조 및 맵(MAP) 좌표계에 맞는 위치정보를 생성한다.

상기 위치측정센서는 SLAM(Simultaneous Localization And Mapping) 방식으로 생성된 주변맵(MAP)과 그 좌표계를 생성할 수 있다. 또한, 고정밀 DGPS, 복수의 AP를 이용한 삼각측정법 및 패스플래닝(Path Planning) 중 적어도 하나를 활용하여 자신의 실시간 위치 정보를 측정할 수 있다.

상기 저장부(270)는 착용자가 설정한 손 제스처, 팔 제스처에 따른 자율주행 동작정보를 저장하고, 자율주행 구동부(240)의 동작제어를 위한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 정보를 저장하는 구성일 수 있다.

도 14는 본 발명의 일 실시예에 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 방법을 설명한 흐름도이다.

도 14를 참조하면, 본 발명의 일 실시예에 따른 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 방법(S700)은 스마트 손목밴드(100)에서 착용자의 손 제스처, 팔 제스처에 따른 IMU 데이터 및 손 제스처에 따라 손목의 힘줄 압력 데이터, 예컨대, 손가락 움직임에 의한 손목 피부 곡률의 깊이 변화에 대한 변위 차가 가장 큰 지점에서 손목 피부 표면의 높낮이 변화에 따른 압력을 측정하여 제공(S710)한다.

참고로, 손목 힘줄은 손목으로부터 아래팔로 갈수록 두께가 두꺼워진다. 이 때문에 손가락을 굽힐 때에는 상대적으로 얇은 두께의 힘줄이 손목을 통해 손목 아래로 하강한다.

즉, 상기 스마트 손목밴드(100)는 손가락 관절과 연결된 손목 힘줄에 발생되는 압력의 변화을 통해 손동작을 실시간으로 인식하며, 보다 상세한 설명은 앞에서 상세하게 설명한 관계로 생략하도록 한다.

다음으로, 모바일 로봇(200)에서 IMU 데이터를 기초로 생성한 로봇 궤적경로로 이동하면서 사용자를 추종한다(S720).

이후, 상기 모바일 로봇(200)이 이동 중 또는 이동 정지 중, 사용자가 설정한 팔의 제스처 및/또는 손 제스처를 인식하면, 인식된 제스처로 설정된 로봇 동작이 수행되도록 동작(S730)한다.

즉, 상기 S730 과정은 스마트 손목밴드(100)에서 인식한 손 제스처 및 압력에 따라 멈추기, 당기기, 밀기, 제자리 회전 중 적어도 하나 이상의 동작을 수행하는 과정일 수 있다.

한편, 상기 모바일 로봇(200)은 IMU(Inertial Measurement Unit) 데이터 및 FSR 데이터를 기초로 스마트 손목밴드를 착용한 착용자의 손 제스처를 인식하며, 사용자의 위치 이동에 따른 IMU(Inertial Measurement Unit) 데이터를 기반으로 착용자를 추종하는 모바일 로봇의 목표궤적 경로를 생성한다.

또한, 상기 모바일 로봇(200)은 착용자의 손 제스처, 팔 제스처에 따른 자율주행동작 중 세부동작, 예컨대, 멈추거나, 당기거나, 밀거나, 제자리 회전 등의 동작을 수행하며, 2D/3D 라이다 및 RGB/Depth 카메라를 이용하여 착용자와 모바일 로봇 간의 공간으로 끼어든 장애물의 위치좌표를 탐지할 수 있다.

부가적으로, 레이저, 카메라 및 위치측정센서 중 적어도 하나를 통해, 자율주행을 위한 주변 환경 탐지를 보조 및 맵(MAP) 좌표계에 맞는 위치정보를 생성하며, 상기 위치측정센서는 SLAM(Simultaneous Localization And Mapping) 방식으로 생성된 주변맵(MAP)과 그 좌표계를 생성할 수 있다. 또한, 고정밀 DGPS, 복수의 AP를 이용한 삼각측정법 및 패스플래닝(Path Planning) 중 적어도 하나를 활용하여 자신의 실시간 위치 정보를 측정할 수 있다.

또한, 착용자가 설정한 손 제스처, 팔 제스처에 따른 자율주행 동작정보를 저장하고, 자율주행 동작제어를 위한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 정보를 저장한다.

따라서, 본 발명의 일 실시예에 따른 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법을 이용하면, IMU 모션 트랙킹 알고리즘을 통해 도출할 수 있는 인간의 이동경로에 따라 로봇의 목표 궤적경로를 실시간 생성하고, Pure Pursuit Control 등의 자율주행 로봇의 궤적 추종 기법을 사용하여 인간의 움직임을 추종할 수 있다는 이점이 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로 세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴 퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령 (instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상 의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.

예를 들어, 처리 장치 는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매 체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또 는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

1000: 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템
100: 스마트 손목밴드
200: 모바일 로봇
210: 통신부
220: 제스처 인식부
230: 추정 경로 생성부
240: 자율주행 구동 및 제어부
250: 객체 감지부
260: 보조 감지부
270: 저장부

Claims

손목 피부 표면의 높낮이 변화에 따른 손 제스처, 팔의 제스처에 따른 IMU 데이터 및 손목 압을 측정 및 제공하는 스마트 손목밴드; 및
상기 스마트 손목밴드의 상기 IMU 데이터를 기초로 생성한 로봇 궤적경로를 따라 사용자와 기 설정된 간격으로 이동하며, 상기 팔의 제스처 및/또는 손 제스처에 따라 다양한 자율주행동작을 수행하는 모바일 로봇을 포함하고,
상기 스마트 손목밴드는
적어도 하나 이상의 압력센서를 이용하여 손가락 각각의 움직임에 따라 발생되는 손목 피부의 굴곡에 대한 힘줄 압력을 측정하고,
상기 압력센서는 손가락 각각의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치에 배열되고, 상기 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식하는 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템.
삭제
삭제
제1항에 있어서,
상기 모바일 로봇은
상기 IMU 데이터로부터 팔의 궤적정보를 추출하고, 역운동학 알고리즘을 이용하여 팔 관절 각도를 도출한 후, 도출된 팔 관절 각도를 기초로 팔의 제스처를 추정하는 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템.
제1항에 있어서,
상기 모바일 로봇은
2D/3D 라이다 및 RGB/Depth 카메라를 통해 추적 대상인 사용자와의 이격된 공간 또는 거리 내에 끼어드는 장애물을 감지하는 것을 특징으로 하는 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템.
스마트 손목밴드에서 착용자의 손 제스처, 팔 제스처(궤적)에 따른 IMU 데이터 및 손목의 힘줄 압력 데이터를 측정하여 제공하는 단계;
모바일 로봇에서 상기 IMU 데이터를 기초로 생성한 로봇 궤적경로로 이동하면서 사용자를 추종하는 단계; 및
상기 모바일 로봇이 이동 중 또는 이동 정지 중, 사용자가 설정한 팔의 움직임 및/또는 손 제스처를 인식하면, 인식된 제스처로 설정된 적어도 하나 이상의 로봇 동작이 수행되도록 동작하는 단계를 포함하고,
상기 스마트 손목밴드는
적어도 하나 이상의 압력센서를 이용하여 손가락 각각의 움직임에 따라 발생되는 손목 피부의 굴곡에 대한 힘줄 압력을 측정하고,
상기 압력센서는 손가락 각각의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치에 배열되고, 상기 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식하는 손 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 방법.