KR20200085358A

KR20200085358A - 착용가능 무선 hmi 디바이스

Info

Publication number: KR20200085358A
Application number: KR1020207019215A
Authority: KR
Inventors: 로힛 세스
Original assignee: 로힛 세스
Priority date: 2014-12-08
Filing date: 2015-12-08
Publication date: 2020-07-14
Also published as: CN106662914B; KR102433382B1; US20180101231A1; KR20230164002A; KR20210153163A; US20160162022A1; AU2020203921B2; AU2015362045C1; AU2015362045B2; KR102550595B1; JP7178434B2; US9417693B2; AU2015362045B9; KR102131977B1; JP2020013599A; US20190146583A1; JP2021073598A; EP3230832A4; US11586287B2; US10365715B2

Abstract

착용가능 제스처 제어 인터페이스 장치는 사용자에 의해 제공되는 제스처들에 기반하여 제어가능 디바이스를 제어하기 위해 사용된다. 착용가능 제스처 제어 인터페이스 장치는 (i) 사용자 배향 및 움직임을 검출하고 대응하는 센서 데이터를 생성하도록 구성된 센서들 및 (ii) 마이크로제어기를 포함하고, 마이크로제어기는 센서들로부터의 센서 데이터를 샘플링하고, 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족하는지를 결정하고; 그리고 센서 데이터가 송신 기준들을 충족하면, 센서들 모두에 대응하는 제어 데이터를 제어가능 디바이스에 송신하도록 구성된다.

Description

착용가능 무선 HMI 디바이스{WEARABLE WIRELESS HMI DEVICE}

[0001] 개시된 구현들은 착용가능-기술 제스처(gesture) 제어에 관한 것이다. 보다 구체적으로, 개시된 구현들은 착용자들이 입력 파라미터들을 무선으로 제어하여 전자 수신기들 및 컴퓨팅 디바이스들에 전송하게 하는, 착용가능 HMI(Human Machine Interface) 디바이스들, 즉 센서들, 스위치들, 제어 유닛들, 무선 통신 모듈들 및 전력원들이 장착된 글러브(glove)들 및 다른 의복(garments)에 관한 것이다.

[0002] 착용가능 기술은 최근에 용인이 증가하고 있지만, 대부분의 그런 디바이스들은 여전히 실험 단계에 있고, 그리고 상업적으로 이용가능한 것들은 여전히 다수의 단점들을 가진다. 착용가능 기술 분야 내에서, 제스처 제어 글러브들은 시장에서 가장 일찍 나타난 제품들 중 하나이지만, 아직 이들은 현재 제한된 기능성 및 다목적성의 현저한 결핍을 갖는다. 예컨대, 닌텐도 파워 글러브(Nintendo Power Glove)는 게이밍의 목적을 위하여 유일하게 사용된 착용가능 핸드 디바이스(hand device)의 초창기 예였다.

[0003] 다목적성의 결핍을 더욱 더 악화시키는 것은, 대부분의 현재 착용가능 글러브 기술이 무선 능력이 없다는 사실이고; 사용자는 단지, 케이블들/와이어들의 길이가 허용하는 만큼 수신 디바이스로부터 멀리 떨어져 이동할 수 있다. 내장된 기계식 스프링들의 사용은 또한 그런 디바이스들의 강성에 기여하고 소비자 어필(appeal)을 감소시키지만, 많은 그런 디바이스들에 대한 맞춤 통신 프로토콜들에 대한 의존은 이들의 다양한 채택을 추가로 방해한다.

[0004] 전자장치 및 컴퓨터들(즉, 키보드, 마우스, 조이스틱들 - 기능적으로 잘 통합됨)과 인터페이싱하기 위하여 산업에서 알려진 통신 프로토콜 표준들을 구현하고, 그리고 또한 전자 디바이스들(이를테면, 드론들, 게이밍 콘솔들, 컴퓨터들, TV 세트들, 홈 자동화 기기들)을 제어하기 위하여 마우스, 게임패드들 및 조이스틱들을 대체하고 수화(hand-sign language)를 더 이해가능한 통신 수단(이를테면, 텍스트 또는 구술된 단어들)으로 변환하기 위한 능력을 가지는 착용가능 제스처 글러브에 대한 요구가 시장에서 충족되지 않는다.

[0005] 첨부된 청구항들 범위 내에서 디바이스들, 장치들, 및 방법들의 다양한 구현들은 각각 몇몇의 양상들을 가지며, 이 양상들 중 단 하나의 양상이 단독으로 본원에 설명된 속성들을 책임지지 않는다. 첨부된 청구항들의 범위를 제한함이 없이, 이 개시를 고려한 후, 그리고 특히 "발명을 실시하기 위한 구체적인 내용"이라는 제목의 섹션을 고려한 후, 컨텍스트-기반 이벤트 엔트리들을 생성하기 위하여 다양한 구현들의 양상들이 어떻게 사용되는지 이해될 것이다.

[0006] 일부 구현들에 따라, 착용가능 제스처 제어 인터페이스 장치는 사용자에 의해 제공되는 제스처들에 기반하여 제어가능 디바이스를 제어하기 위해 사용된다. 일부 구현들에서, 착용가능 제스처 제어 인터페이스 장치는: 사용자의 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션(flexion)을 검출하고 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션에 대응하는 센서 데이터를 생성하도록 구성된 복수의 센서들; 및 마이크로제어기를 포함할 수 있고, 마이크로제어기는 샘플링 모듈을 사용하여 복수의 센서들로부터의 센서 데이터를 샘플링하고; 결정 모듈을 사용하여, 복수의 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족하는지를 결정하고; 그리고 복수의 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족한다는 결정에 따라, 송신 모듈을 사용하여, 복수의 센서들 모두에 대응하는 제어 데이터를 제어가능 디바이스에 송신하도록 구성된다.

[0007] 일부 구현들에서, 착용가능 제스처 제어 인터페이스 장치는 사용자에 의해 제공되는 제스처들에 기반하여 제어가능 디바이스를 제어하기 위해 사용된다. 착용가능 제스처 제어 인터페이스 장치는: 사용자의 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션을 검출하고 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션에 대응하는 센서 데이터를 생성하도록 구성된 복수의 센서들; 및 낮은 레이턴시(latency) 모드 및 높은 정확도 모드에서 동작가능한 마이크로제어기를 포함하고, 마이크로제어기는 샘플링 모듈을 사용하여, 복수의 센서들로부터의 센서 데이터를 샘플링하고; 생성 모듈을 사용하여, 낮은 레이턴시 모드에서 동작할 때 복수의 센서들 중 일부로부터의 센서 데이터에 기반하여 센서 출력을 생성하고; 그리고 생성 모듈을 사용하여, 높은 정확도 모드에서 동작할 때 복수의 센서들 모두로부터의 센서 데이터에 기반하여 센서 출력을 생성하도록 구성된다.

[0008] 일부 구현들에서, 센서는 객체의 플렉싱(flexing) 또는 벤딩(bending)을 측정하는데 사용된다. 센서는 제 1 플렉서블(flexible) 전기 전도성 플레이트 및 제 2 플렉서블 전기 전도성 플레이트; 제 1 및 제 2 전기 전도성 플레이트 간에 배치되어 접촉하는 플렉서블 반-전도성 다공성 기판 ― 반-전도성 다공성 기판의 저항은 반-전도성 다공성 기판의 플렉션(flexion) 양에 기반하여 가변함 ―; 제 1 플렉서블 전기 전도성 플레이트에 연결되는 제 1 리드(lead) ― 제 1 리드는 구동 신호를 수신하도록 구성되고, 구동 신호는 출력 신호를 생성하기 위하여 반-전도성 다공성 기판의 저항에 기반하여 변경됨 ―; 및 제 2 플렉서블 전기 전도성 플레이트에 연결되는 제 2 리드를 포함하고, 제 2 리드는 부가적인 신호 컨디셔닝(conditioning)을 요구함이 없이 출력 신호를 직접 마이크로제어기에 송신하도록 구성된다.

[0009] 일부 구현들에서, 착용가능 제스처 제어 인터페이스 장치는 사용자에 의해 제공되는 제스처들에 기반하여 제어가능 디바이스를 제어하기 위해 사용된다. 착용가능 제스처 제어 인터페이스 장치는 사용자의 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션을 검출하고 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션에 대응하는 센서 데이터를 생성하도록 구성된 복수의 센서들; 및 낮은 레이턴시 모드 및 높은 정확도 모드에서 동작가능한 마이크로제어기를 포함하고, 마이크로제어기는: 샘플링 모듈을 사용하여, 복수의 센서들로부터의 센서 데이터를 샘플링하고; 그리고 결정 모듈을 사용하여, 복수의 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족하는지를 결정하도록 구성되고; 그리고 복수의 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족한다는 결정에 따라, 마이크로제어기는 생성 모듈을 사용하여, 낮은 레이턴시 모드에서 동작할 때 복수의 센서들 중 일부로부터의 센서 데이터에 기반하여 제어 데이터를 생성하고; 생성 모듈을 사용하여, 높은 정확도 모드에서 동작할 때 복수의 센서들 모두로부터의 센서 데이터에 기반하여 제어 데이터를 생성하고; 그리고 송신 모듈을 사용하여, 제어 데이터를 제어가능 디바이스에 송신하도록 구성된다.

[0010] 본 출원의 다양한 장점들은 아래 설명들을 고려하여 자명하다.

[0011] 본 발명의 부가적인 양상들 및 구현들뿐 아니라 본 발명의 위에서 언급된 양상들의 더 나은 이해를 위하여, 다음 도면들과 함께 아래의 상세한 설명에 대해 참조가 이루어져야 하고, 다음 도면들에서 동일한 참조 번호들은 도면들 전반에 걸쳐 대응하는 부분들을 지칭한다.
[0012] 도 1은 제스처 글러브의 내부 라이닝(lining)의 후면도이다.
[0013] 도 2는 제스처 글러브의 모든 센서들, 스위치들, 배터리 및 전자 컴포넌트들의 상대적 포지셔닝을 도시한다.
[0014] 도 3은 벤드(bend) 센서들에 대한 제스처 글러브의 포지티브(+) 전압 와이어링(wiring) 층을 예시한다.
[0015] 도 4는 벤드 센서들과 마이크로제어기 유닛(MCU) 간의 연결들을 예시한다.
[0016] 도 5는 스위치들에 대한 제스처 글러브의 네거티브(-) 전압 와이어링 층을 예시한다.
[0017] 도 6은 푸시버튼(pushbutton) 스위치들과 MCU 간의 연결들을 예시한다.
[0018] 도 7은 제스처 글러브의 손가락들 상의 푸시버튼 스위치들의 장착 포지션들을 예시한다.
[0019] 도 8은 제스처 글러브의 펠트(felt)-타입 재료의 1차 층을 예시한다.
[0020] 도 9는 MCU(위의 도 8에 묘사된 층의 상단 상)로부터 스위치들 및 센서들(도 8에 묘사된 층의 상단 밑에서 발견됨)로의 와이어링을 예시한다.
[0021] 도 10은 MCU의 상단 및 벤드 센서들의 상단 상에 적용된 얇은 펠트-타입 재료의 보호 층을 예시한다.
[0022] 도 11은 제스처 글러브의 최종 외부 재킷(jacket)(아래의 모든 복합(composite) 층들을 감쌈)을 예시한다.
[0023] 도 12는 전체 어셈블리된 제스처 글러브의 부분 투시도(see-through view)로, 외부 재킷 아래에 부분적으로 보이는 전자장치 및 패브릭(fabric) 라이닝들을 갖는 그것의 모든 기층들(substrata)을 도시한다.
[0024] 도 13은 자신의 외부 재킷을 가지는 마무리된 제스처 글러브의 등각도(isometric view)이다.
[0025] 도 14는 마무리된 제스처 글러브의 표면 렌더링된(rendered) 도면이다.
[0026] 도 15는 제스처 글러브를 위해 개발된 신규한 벤드 센서의 기능적 구조를 예시한다.
[0027] 도 16은 제스처 글러브의 MCU에 의해 수행되는 프로세싱 단계들의 흐름도이다.
[0028] 도 17은 RF 수신기 디바이스(예컨대, 콘솔(console) 애플리케이션 또는 제어가능 전자 디바이스)에 의해 수행되는 프로세싱 단계들의 흐름도이다.
[0029] 도 18은 수신기 디바이스에 의해 개별 제스처 포지션들 및 손 배향을 추출하기 위한 프로세싱 단계들의 일반화된 표현이다.
[0030] 도 19는 수신기 컴퓨터에 의한 마우스 & 조이스틱 제어를 위한 애플리케이션에 의해 수행되는 프로세싱 단계들의 흐름도이다.
[0031] 도 20a는 제스처 글러브가 일 구현예인 착용가능 HMI(human machine interface) 디바이스 및 착용가능 HMI 디바이스에 의해 제어가능한 전자 디바이스의 블록 다이어그램이다.
[0032] 도 20b는 도 20a와 유사하지만, HMI 상에 위치된 제스처 라이브러리 및 제스처 검출부(제스처 라이브러리 및 제스처 검출부가 제어가능 디바이스 자체에 위치되는 도 20a와 반대임)를 가지는 구현을 묘사하는 블록 다이어그램이다.
[0033] 도 21은 도 20a의 착용가능 HMI 디바이스의 기능적 세부사항들을 도시하는 블록 다이어그램이다.
[0034] 도 22는 도 20a의 착용가능 HMI 디바이스에 의해 제어가능한 전자 디바이스의 기능적 세부사항들을 도시하는 블록 다이어그램이다.
[0035] 동일한 참조 번호들은 도면들의 몇몇 도들 전반에 걸쳐 대응하는 부분들을 지칭한다.

[0036] 첨부 도면들에 예시된 예시적 구현들의 완전한 이해를 제공하기 위하여 많은 세부사항들이 본원에 설명된다. 그러나, 일부 구현들은 많은 특정 세부사항들 없이 실시될 수 있고, 청구항들의 범위는 청구항들에 구체적으로 언급된 이들 특징들 및 양상들에 의해서만 제한된다. 게다가, 본원에 설명된 구현들의 더 적절한 양상들을 불필요하게 모호하게 하지 않기 위하여 잘-알려진 방법들 및 시스템들은 매우 상세히 설명되지 않았다.

[0037] 이제 더 상세하게 본 발명을 참조하여, 도 1은 제스처 글러브의 예시적 구현의 내부 라이닝(100)의 후면도를 예시한다. 일부 구현들에서, 폴리에스테르 또는 코튼 패브릭의 적절한 혼방이 내부 라이닝(100)에 사용된다. 센서들 및 전자 컴포넌트들의 포지셔널 참조를 위하여, 중수골-근위지관절(Metacarpophalangeal joint)(101) 및 근위지간관절(Proximal Interphalangeal joint)(102)이 또한 도 1에 기술된다.

[0038] 도 2는 제스처 글러브의 예시적 구현의 후면 투시도이고, 조인트 센서들(110, 111), 푸시버튼 스위치들(120, 121, 122), 마이크로제어기(MCU)(130), MPU(Motion Processing Unit: 모션 프로세싱 유닛)(131), RFTX(Radio Frequency Transmission Unit: 라디오 주파수 송신 유닛)(132), 및 전력원(예컨대, 이를테면, 재충전가능 타입의 배터리 팩 또는 하나 또는 그 초과의 리튬 폴리머 배터리들)(133)의 상대적 포지셔닝을 도시한다. 더 큰 명확성을 위하여, 본 개시 전반에 걸쳐 단어들 "스위치" 또는 "스위치들"은 제한 없이 포지셔널 스위치들, 지향성 스위치들, 지향성 제어부들, 소형 조이스틱들 등 중 임의의 것을 의미한다. 일부 구현들에서, 본원에 설명되는 센서들 및 스위치들에 더하여, 제스처 글러브는 하나 또는 그 초과의 조이스틱들, 적외선 센서들, 글로벌 포지셔닝 시스템 센서들, 또는 사용자 제스처들 또는 사용자 입력들을 검출하도록 구성된 임의의 유사한 센서들을 포함할 수 있다. 일부 구현들에서, 센서들, 스위치들, 전자 컴포넌트들(예컨대, MCU, MPU, RFTX 및 전력원) 및 대안적인 입력 디바이스들(예컨대, 조이스틱들 등)의 포지션들 및 수들은 도 2에 예시된 바와 같은 이들 컴포넌트들의 포지션들 및 수들과 전체적으로 또는 부분적으로 상이하다. 그런 차이들은 상이한 구현들의 패키징 제약들(예컨대, 전력 공급에 이용가능한 방), 또는 센서들 및/또는 사용자 입력 디바이스들에 적용가능한 운영 및/또는 인체공학적 제약들(예컨대, 조이스틱의 사용자-친화적 포지셔닝)로 인할 수 있다.

[0039] 4개의 벤드 센서들(110)은 근위지간관절(102)의 후면측 상에 배치되고, 하나의 벤드 센서(111)는 엄지손가락과 집게손가락 간에 배치된다. 부가적인 벤드 센서들(벤드 센서(111)와 유사함)은 다른 손가락들 각각 간에 선택적으로 배치될 수 있다. 4개의 스위치들은 각각의 손가락(120)의 안쪽 지절골(Medial Phalanx) 상에 비스듬히 장착된다. 집게손가락은 근위 지절골(Proximal Phalanx)(121) 상에 부가적인 스위치를 포함한다. 보조 제어 기능들을 위하여, 2개의 추가 스위치들은 엄지손가락의 베이스에서 손(122)의 등면에 장착된다.

[0040] 도 3은 벤드 센서들(110 및 111)을 구동하기 위하여 사용되는 포지티브(+) 전압 와이어링 층(112)을 예시한다. 각각의 벤드 센서는 병렬 와이어링 스키마(schema)로 소스 전압을 수신한다.

[0041] 도 4는 마이크로제어기 유닛(MCU)(130)과 개별 벤드 센서(110, 111) 신호 와이어들(113)의 연결을 예시한다. 각각의 벤드 센서는 MCU 소프트웨어에 의해 개별적으로 상태 변화가 모니터링된다.

[0042] 도 5는 푸시버튼 스위치들(120, 121, 122)을 구동하기 위하여 사용되는 네거티브(-) 전압 와이어링 층(123)을 예시한다. 각각의 푸시버튼 스위치는 병렬 와이어링 스키마로 소스 전압에 링크된다. 각각의 푸시버튼 스위치는, 푸시버튼이 "눌려지거나" 또는 "눌려지지 않은" 것을 표시하는 디지털 신호를 MCU에게 제공할 수 있다.

[0043] 도 6은 마이크로제어기 유닛(MCU)에 개별 푸시버튼 스위치들(120, 121, 122) 신호 와이어들(124)의 연결을 예시한다. 각각의 푸시버튼 스위치 포지션은 MCU 소프트웨어에 의해 상태 변화가 모니터링된다.

[0044] 도 7은 안쪽 지절골(120) 상의 푸시버튼 스위치들, 4개의 손가락들에 대한 통상적인 어레인지먼트, 및 시상면(sagittal plane)과 평행한 집게손가락의 근위 지절골 상의 부가적인 푸시버튼 스위치(121)의 비스듬한 장착을 예시한다. 이런 배향은 손가락들을 플렉싱(flexing)하는 동안 스위치들의 우연한 작동을 방지한다.

[0045] 도 8은 와이어링 기층(stratum) 위의 부드럽고, 얇은 펠트-타입 재료(140)의 1차 층을 예시한다. 와이어들은 패브릭 오버레이(overlay) 아래에서 이어진다. 와이어링이 그들 각각의 목적 지점들과의 연결성을 위하여 패브릭의 상단 측을 관통하게 하는 슬롯 또는 개구가 패브릭(141)의 중간에 제공된다.

[0046] 도 9는 펠트 타입 패브릭(140)의 상단 상에 장착된 MCU에 통신 와이어링(141)의 연결을 예시한다. 패브릭 층은 아래 있는 와이어링과 위에 있는 전자장치 모듈들(MPU, MCU, BATTERY, RFTX)을 보호 및 격리시킨다.

[0047] 도 10은 각각 전자장치 모듈들(MPU, MCU, RFTX), 및 벤드 센서들(110, 111)을 보호하기 위한 얇은 펠트 타입 재료(150, 151, 152)의 최종 층을 예시한다.

[0048] 도 11은 아래 놓인 복합 층들 위에 최종 외부 재킷(160)의 장착을 예시하고; 최종 외부 재킷은 글러브를 마무리하기 위하여 압축 피트 패브릭(compression fit fabric)으로 만들어진다. 부가적인 패킹 재료(161), 이를테면 펠트는 손가락들(120)의 안쪽 지절골들 상에 비스듬하게 장착되는 내장된 푸시버튼 스위치들에 의해 유발되는 지절골들에서 글러브의 돌출 포인트들을 매우고 밸런싱하기 위하여 사용될 수 있다.

[0049] 도 12는 외부 재킷(160) 아래의 부분적으로 보이는 전자장치 및 패브릭 라이닝들을 갖는 그것의 기층들을 가지는 제스처 글러브의 전체 어셈블리를 예시한다.

[0050] 도 13은 외부 재킷(160)을 가지는 마무리된 제스처 글러브의 등각도이다.

[0051] 도 14는 압축 피트 재료를 사용하여 마무리된 제스처 글러브의 표면 렌더링된 도면이다.

[0052] 도 15는 제스처 글러브의 손가락 벤드 포지션을 검출하는데 사용되는 통상적인 벤드 센서(110, 111)의 기능적 구조를 예시한다. 이런 벤드 센서는 근위지간관절의 후면측 위에 장착된다. 벤드 센서는 반-전도성 탄소 주입된 플라스틱들, 이를테면 폴리우레탄 또는 폴리에틸렌 다공성 기판 재료(선택적으로 에탄올, 이소부탄, 프로판, 1,1-디플루오르에탄, 분말 탄소 및 분말 흑연 중 하나 또는 그 초과가 주입될 수 있음)의 코어(170)로 구성된다. 코어(170)의 위 및 아래에는, 전체 상부 및 하부 반-전도체 코어 표면에 걸쳐 전도성 경로를 완성시키는 2개의 얇은, 플렉서블 전기 전도성 플레이트들(171)(전도성 및 내부식성 시트 재료로 만들어짐)이 있다. 바람직한 실시예에서, 더 넓은 전기 전도성 플레이트들(171)은 최적 감지를 위해 사용된다; 전기 전도성 층들과의 넓은 접촉 표면은 신호 노이즈를 감소시키고 제조 프로세스 동안 생성되는 표면 불규칙성들에 의해 유발되는 로컬 신호 품질저하를 극복시킨다. 넓은 접촉 표면적은 또한 동일한 전체 치수들을 가지는 생산 유닛들 또는 센서들의 상이한 배치(batch)들 간의 전류 경로 리던던시, 결함 허용오차, 및 더 큰 정확도 및 재현성을 제공한다. 임의의 알려진 전기 전도성 접착 수단(이를테면, 경납땜(brazing), 용접, 또는 납땜)(172)은 전도성 와이어 리드들(173)을 상부 및 하부 전기 전도성 플레이트들(171)에 부착하기 위하여 사용될 수 있다. 인가된 전류의 극성은 상부 및 하부 전기 전도성 플레이트들(171) 간에서 상호변경가능하다. 코어 반-전도성 층(170) 및 부착된 와이어 리드들(173)과 함께 전기 전도성 플레이트들(171)은 플렉서블하고 내구성 있는 얇은 플라스틱 외장(sheathing)(174) 내에 동봉된다. 외장에는 제스처 글러브의 나머지에 센서 어셈블리를 고정하기 위한 지정된 표면으로서 동작하는 편평하고 테이퍼링된(tapered) 지역(175)이 제조된다(지역(175)에 적용된 임의의 고정 수단은 코어 감지 영역들(170 및 171)의 압축을 유도하지 않을 것임). 지역(175)과 반대편의 센서 단부에서, 와이어 리드들(173)이 외장(174)을 떠나는 영역은 비-전도성 에폭시 접착 밀봉부(176)로 밀봉되어, 코어 미끌어짐을 방지하고, 그리고 반복된 움직임들로부터 전기 전도성 플레이트들(171) 상의 이들 개별 부착 포인트들(172)의 연결해제 또는 피로를 방지하도록 와이어 리드들에 대한 앵커(anchor) 포인트를 제공한다. 에폭시 밀봉부(176)는 또한 벤드 센서에 대한 제 2 고정 표면으로서 역할을 한다. 센서의 길이 방향을 따라 어느 한쪽 방향으로 이 센서 어셈블리를 벤딩하는 것은 반-전도성 재료를 늘리고 압축할 것이고, 이는 전도성 밀도를 증가시키고, 센서 어셈블리의 저항을 감소시킨다.

[0053] 일부 구현들에서, 탄소 주입된 다공성 기판은 전기-저항 변경 화학 첨가물들, 이를테면 에탄올, 이소부탄, 프로판, 1,1-디플루오르에탄, 분말 탄소, 분말 흑연 등)이 추가로 스며들 수 있다. 이 목적을 위하여, 다공성 기판은 화학 첨가물 주입의 다양한 중량% 레벨들을 달성하기 위하여, 에탄올, 이소부탄, 프로판, 1,1-디플루오르에탄, 분말 탄소, 분말 흑연을 포함하는 다양한 용액들 또는 현탁액들에 담겨진 다음, 1 시간 또는 그 초과 동안 저열 건조에 의해 주입을 받을 수 있다. 일부 실시예들에서, 다공성 기판 재료는 화학 용액을 흡수하기 위하여 높은 침투성을 가지는 흡수성 스폰지-형 및 흡수성 밀도(consistency)를 가진다.

[0054] 상이한 구현들에서, 재료들 및 화학 농도들은 필요한 대로 저항 변화에 대한 바람직한 동적 범위를 생성하도록 조정될 수 있다. 예컨대, 더 높은 탄소 증착은 더 높은 전도도 및 더 작은 동적 범위를 생성할 것이다. 대안적으로, 더 높은 화학 첨가물 증착은, 재료가 구부러지지 않을 때 더 높은 저항, 및 플렉션 동안 더 큰 동적 범위를 생성할 것이다. 따라서, 그 범위는 구부러지지 않은 것과 구부러진 플렉션 간에 조정될 수 있다. 예컨대, 최대-최소 저항 범위는 다공성 기판 내에 대략 10% 화학 증착을 가지는 일부 구현들에서 각각 약 30킬로오움 내지 약 2킬로오움일 수 있고 다른 구현들에서 다공성 기판 내에 100% 화학 증착으로 각각 약 200킬로오움 내지 약 5킬로오움일 수 있다.

[0055] 동작 시, 센서는 착용가능 HMI 디바이스의 사용자의 손가락 또는 손 관절 또는 근육에 근접하게 착용가능 HMI 디바이스에 포지셔닝될 수 있어서, 그런 관절 또는 근육의 임의의 모션(motion)은 센서의 변형을 유발하고, 이는 센서가 변형 범위를 나타내는 개별 아날로그 신호를 MCU에 직접 출력하게 한다. 아날로그 신호는, 벤드 센서가 그의 물리적 컴포넌트들의 벤딩 또는 플렉싱 양에 비례하여 변화하는 가변 저항을 가지기 때문에, 가변한다. 일부 구현들에서, 벤드 센서(예컨대, 벤드 센서들(110 또는 111))는 벤드 센서 포지션을 컴퓨팅 디바이스, 이를테면 마이크로제어기(예컨대, 도 2의 MCU(130))에 통신하도록 전체 범위 신호(예컨대, 약 1 볼트 내지 약 3.3 볼트)를 제공한다. 일부 구현들에서, 벤드 센서는 10 중량%의 화학 첨가물들이 스며든 1.5 mm 두께, 저밀도, 탄소 주입된 폴리우레탄 다공성 기판(170)을 사용하여 90 도 벤드에서의 약 2,000 오움 내지 직선 중립 포지션에서의 약 30,000 오움의 넓은 저항 범위를 나타낸다. 이런 범위는 외부 신호 컨디셔닝 회로에 대한 필요를 제거하고, 벤드 센서가 마이크로제어기와 직접 인터페이스하게 허용하여 레이턴시를 감소시킨다. 일부 구현들에서, 벤드 센서는 3.3 볼트만큼 낮은 인가된 소스 구동 전압에서 동작할 수 있다.

[0056] 도 16은 제스처 글러브의 MCU에 의해 수행되는 프로세싱 단계들의 흐름도이다.

[0057] 단계(1601)에서, MCU는 시스템을 초기화한다. 시스템은 전자 모듈들(이를테면 MPU, MCU, BATTERY, RFTX)을 포함할 수 있다. 시스템을 초기화시키는 것의 예들은 특정 전자 모듈들에 대해 디바이스 세팅들 또는 디폴트(default)들을 로딩하는 것 및 센서 데이터를 통신할 때를 결정하기 위하여 임계치들을 세팅하는 것을 포함할 수 있다.

[0058] 단계들(1601a-1601d)은 본 발명의 적어도 하나의 실시예에 따른 시스템을 초기화하기 위한 프로세스를 설명한다. 단계(1601a)에서, MCU는 시스템 통신 및 디바이스 세팅들을 로딩한다. 단계(1601b)에서, MCU는 디폴트들을 통신 모듈에 로딩한다. 단계(1601c)에서, MCU는 MPU를 초기화한다. 단계(1601d)에서, MCU는 모션 센서들 및 벤드 센서들에 대한 임계치들을 세팅한다. 모션 센서 및 벤드 센서에 의해 생성된 값이 MCU에 의해 세팅된 임계치를 초과할 때, MCU는 하나 또는 그 초과의 센서들, 이를테면 벤드 센서에 의해 측정된 센서 데이터를 다른 컴퓨팅 디바이스에 송신할 것이다.

[0059] 단계(1602)에서, MCU는 하나 또는 그 초과의 센서들, 이를테면 벤드 센서, 푸시버튼 스위치, 소형 조이스틱 또는 MPU로부터의 데이터를 샘플링한다. 본원에서 논의된 바와 같이, 센서들은 사용자의 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션을 검출하고 그런 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션에 대응하는 센서 데이터를 생성하도록 구성될 수 있다.

[0060] 단계(1603)에서, MCU는, 각각의 센서로부터 샘플링된 데이터를 임계치에 비교함으로써 센서 데이터가 미리 결정된 송신 기준들을 충족하는지를 결정한다. 샘플링된 데이터가 임계치를 초과하지 않으면, MCU는 단계(1602)로 리턴하고 하나 또는 그 초과의 전자 디바이스들로부터 데이터를 계속 샘플링한다. 샘플링된 데이터가 임계치를 초과하면, MCU는 단계(1604)로 진행한다. 일부 구현들에서, MCU는, 하나 또는 그 초과의 센서들로부터 샘플링된 데이터가 임계치를 초과할 때 모든 센서들로부터 데이터를 샘플링할 수 있다. 센서 데이터가 미리 결정된 송신 기준들을 충족하는지를 결정함으로써, MCU는 데이터를 송신할지 또는 데이터 송신을 금지할지를 사려 깊게 판단할 수 있다. 데이터를 송신하는 것은 전력을 요구하고 그리고 고정된 전원에서 동작하는 HMI에 의해 사용자가 자유로운 움직임 범위를 가지게 하여, 전력을 절약하는 것은 사용자에게 더 나은 전체적인 경험을 제공한다.

[0061] 단계(1604)에서, MCU는, MCU가 낮은 레이턴시에서 동작하는지 높은 정확도 모드에서 동작하는지에 기반하여 통계적 컨디셔닝으로 샘플링된 데이터를 평균한다.

[0062] 낮은 레이턴시 모드에서, 사용자의 각각의 특정 배향 또는 움직임을 측정하기 위한 단일 센서가 사용될 수 있다. 단일 센서를 사용함으로써, 더 적은 프로세싱 시간이 요구되고, 이는 더 낮은 레이턴시가 시스템에 의해 전체적으로 실현되는 것을 의미한다. 낮은 레이턴시 애플리케이션들에 대한 이들 구현들에서, 자이로스코픽(gyroscopic), 가속도 계측, 및 자기 측정 데이터에 대한 미가공(raw) 센서 데이터는 임의의 알려진 필터링 알고리즘들 또는 융합 알고리즘들(예컨대, 칼만 필터 또는 맞춤형 필터)를 사용하여 일대일 기반으로 센서 출력(하나의 자이로스코프, 하나의 가속도계, 하나의 자기력계)과 연관될 수 있다. 그 다음으로, 센서 데이터는 다수의 판독치들에 걸쳐 어그리게이팅(aggregate)되고 시간 평균되어 매우 낮은 드리프트(drift) 및 낮은 노이즈를 가진 안정된 출력을 생성한다. 시간-평균된 데이터 스트림이 샘플링된 이후 이용되는 로우 패스 필터 알고리즘은 노이즈를 최소화하여 콘솔 애플리케이션을 효율적으로 그리고 정확하게 제어하기 위하여 사용될 수 있는 매우 안정된 배향 및 모션 데이터를 생성한다. 로우 패스 필터링 이전에 시간-평균화는 높은 출력 정확도를 달성하는데 중요하다.

[0063] 높은 정확도 모드에서, MCU는 다수의 리던던트 센서들(예컨대, 동일한 선형 방향을 측정하기 위한 2 또는 그 초과의 가속도계들 또는 동일한 각도 움직임을 측정하기 위한 2 또는 그 초과의 자이로스코프들)로부터 센서 데이터를 수신할 수 있다. 관성 센서들이 장기간 드리프트를 유발하기 때문에 리던던트 센서들은 도움이 될 수 있는데, 상기 장기간 드리프트는 센서 데이터에서 자체적으로 나타나는 노이즈 타입이다. 다수의 리던던트 센서들로부터 샘플링된 데이터를 평균함으로써, MCU는 샘플링된 데이터의 노이즈 양을 감소시킬 수 있다. 예컨대, 샘플링된 데이터가 다수의 샘플링들을 포함하면, 샘플링들 중 일부가 상당한 노이즈 성분을 가질 수 있다는 것이 가능하다. 그러나, 다른 샘플링들이 제한된 노이즈 성분을 가지면, 샘플링들의 평균은 샘플링된 데이터의 전체 노이즈 성분을 감소시킬 것이다. 노이즈를 감소시킴으로써, 본원에 설명되는 전자 디바이스들은 샘플링된 데이터의 원하는 신호 성분을 더 쉽게 프로세싱할 수 있다.

[0064] 일부 구현들에서, 다수의 리던던트 센서들은 맞춤형 인쇄 회로 기판상에서 서로에 관련하여 고정되고 알려진 거리들에 장착될 수 있다. 거리들은 회로 기판 제조 동안 미리결정될 수 있다. 위에서 설명된 바와 같이, 다수의 리던던트 센서들로부터의 센서 데이터는 낮은 레이턴시 모드에서 필터링 방법론에 영향을 받는 각각의 출력과 함께 사용된다. 그 다음으로, 각각의 센서로부터의 포지셔널 및 배향 데이터는 알려진 실제 물리 및 배향 데이터와 함께 고려되어, 최적의 정확도를 위해 드리프트, 노이즈, 및 포지션이 추가로 제거된다. MPU 기판상에 납땜된 센서들 간의 실제 거리들과 각도들이 이미 알려져 있기 때문에, 이런 구성은 장기간 드리프트 및 노이즈 편차를 최소화한다.

[0065] 하이브리드 낮은-레이턴시 높은-정밀도 모드에서, MCU는 20MHz 내지 50MHz 프로세서를 포함할 수 있다. 이런 구현에서, 위에서 설명된 높은 정확도 및 낮은 레이턴시 방법들은 더 높은 배터리 소비의 공칭 트레이드-오프와 함께 사용될 수 있다. 일부 구현들에서, 다수의 저주파수 MCU들은 프로세싱 로드를 나누고 더 높은 배터리 소비의 유사한 트레이드-오프에 의해 더 높은 처리율을 달성하기 위하여 자이로스코프들, 가속도계들, 및/또는 자기력계들의 각각의 세트로부터 데이터를 수집 및 프로세싱하도록 I2C 또는 SPI 통신 버스를 사용하여 나란히 연결될 수 있다.

[0066] 일부 구현들에서, 단계들(1603 및 1604)에서 MCU에 의해 수행되는 프로세스들은 역방향으로 수행될 수 있다. 이들 구현들에서, MCU는 노이즈를 감소시키기 위하여 샘플링된 데이터를 평균하고 그 다음으로 샘플링된 데이터를 임계치에 비교한다.

[0067] 단계(1605)에서, MCU는 ASCII 데이터 스트림을 각각의 센서로부터 샘플링된 데이터의 이름=값 쌍으로서 생성한다. 일부 구현들에서, 이름은 전자 컴포넌트(예컨대, 벤드 센서 또는 푸시버튼 스위치)에 대응하고 값은 전자 컴포넌트에 의해 측정된 인간 액션(action) 또는 제스처에 대응한다. 예컨대, "B0=H"이고, 여기서 "B0"는 수직으로 장착되는, 집게손가락의 근위 지절골 상에 위치되는 푸시-버튼 스위치(121)이고 "=H"는 "B0"의 값을 표현하고, 여기서 "H"는 "눌려진" 버튼 상태이다. "B0=L"에서처럼 제로(0)의 값은, 푸시-버튼이 "눌려지지 않은" 것을 의미할 것이다. 일부 구현들에서, 각각의 이름 및/또는 값은 글자당 8 바이트들에 의해 표현된다. ASCII 데이터 스트림 및 이름=값 쌍의 사용은 API(application platform interface)를 사용하여 콘솔 애플리케이션과 통신하는데 도움이 된다. ASCII 데이터를 사용함으로써, 콘솔 애플리케이션 또는 유사한 전자 디바이스를 프로그래밍하는 임의의 개발자는 이 데이터 포맷을 쉽게 해석 및 프로세싱하여 제스처 프로세싱 시스템을 보편적으로 하거나 또는 디바이스에 종속되지 않게 한다.

[0068] 일부 구현들에서, MCU는 인코딩된(예컨대, 압축된) 데이터 스트림을 생성한다. 이들 구현들에서, 샘플 데이터의 각각의 바이트는 추가 프로세싱 및 콘솔 애플리케이션으로 송신을 위하여 대응하는 값으로 인코딩된다. 인코딩 데이터의 이익들 중 하나는 글러브와 콘솔 애플리케이션 간에 송신되는 데이터의 양을 감소시켜, 제스처 프로세싱 레이턴시를 개선하는 것이다.

[0069] 단계(1606)에서, MCU는 무선 모듈(예컨대, RFTX(Radio Frequency Transmission Unit)(132))을 사용하여 하나 또는 그 초과의 센서들로부터의 센서 데이터를 콘솔 애플리케이션(즉, 제어가능 디바이스)에 송신한다.

[0070] 일부 구현들에서, MCU는 데이터를 데이터 송신 패킷으로서 송신한다. 데이터 송신 패킷은 i) 명칭이 부여된 변수들 및 이들의 개별 값들을 설명하는 표준 ASCII 글자들 또는 ii) 센서 데이터에 대응하는 인코딩된 값들로 만들어진다. 그 다음으로, HMI의 스위치들, 벤드 센서들, 및 모션 프로세싱 유닛을 포함하여, 모든 데이터 변수들을 포함하는 전체 패킷은 RFTX(Radio Frequency Transmission Unit)(132), 블루투스 또는 WiFi(IEEE 802.1) 모듈을 통하여 푸시된다.

[0071] 일부 구현들에서, MCU는, 적어도 하나의 센서로부터의 센서 데이터가 단계(1603)에서 설명된 바와 같이 임계치를 초과하면, 적어도 2개(선택적으로, 모든) 센서들로부터의 센서 데이터를 콘솔 애플리케이션으로 송신하여, 개선된 정확도가 달성된다.

[0072] 단계(1607)에서, MCU는 자신의 메모리에 저장된 모든 변수들, 레지스터들 및 카운터들을 리셋하고 단계(1602)로 되돌아가 센서 데이터를 계속 샘플링한다.

[0073] 도 17은 RF 수신기 디바이스(예컨대, 무인 항공기, 게이밍 콘솔, 제어가능 디바이스, 콘솔 애플리케이션)에 의해 수행되는 프로세싱 단계들의 흐름도이다. 도 17은 제스처 글러브로부터의 데이터를 인터셉트하기 위한 1차 계층, 클래스(class), 또는 프로세스를 묘사한다. 이 계층은 임의의 전자 또는 컴퓨팅 디바이스 상에서 사용될 수 있다. 이 계층의 출력은 도 17의 바닥에서 "A"에 의해 표현되고, "A"는 상위 계층들 또는 캡슐화 클래스들로 포워딩되는 이벤트이다. 이름 값 쌍들은 변수 상태들, 이를테면 푸시버튼 스위치들(120, 121, 122), 벤드 센서 포지션들(110, 111)뿐 아니라, 손-배향 및 움직임(MCU)(131)을 평가하기 위하여 루핑(loop)되고 파싱(parse)되는 어레이들 또는 리스트들로 변환된다. 임의의 변수들이 이들의 주어진 임계치를 초과하면, 이벤트 "A"는 캡슐화된 클래스들의 상위-계층 애플리케이션들(이를테면 각각 도 18 및 19에 설명된 제스처 제어 애플리케이션들 및 마우스 제어 애플리케이션들)을 위해 발생된다. RF 수신기 디바이스에 의해 데이터를 프로세싱함으로써, MCU는 동작을 위해 더 적은 프로세싱 전력을 요구하고, 이에 의해 배터리 전력이 보존된다. 또한, RF 수신기 디바이스는 더 빠른 프로세싱 성능들을 가질 수 있고, 이에 의해 MCU에서 제스처 커맨드들을 해석하는 것과 비교될 때 수신기 디바이스에서 제스처 커맨드들을 해석함으로써 레이턴시가 감소된다. 그러나, 도 20b에 도시된 것과 같은 일부 대안적인 구현들에서, MCU가 센서 데이터를 프로세싱하고, 제스처들을 해석하고 제스처 커맨드들을 생성하는 것이 고려된다. 그런 구현들에서, MCU는 제스처 커맨드를 RF 수신기 디바이스에 송신한다. 콘솔 애플리케이션에 의해 실행될 때, 제스처 커맨드들은 콘솔 애플리케이션으로 하여금 액션을 수행하게 한다(예컨대, 무인 항공기가 배럴 롤(barrel roll)을 수행하게 함). MCU는 제스처 커맨드들을 RF 수신기 디바이스에 송신하기 위하여 위의 단계(1605) 및 단계(1606)에 설명된 바와 같은 유사한 기법들(예컨대, ASCII 이름=값 쌍 또는 압축 인코딩 기법들)을 사용할 수 있다.

[0074] 도 18은 본 발명의 실시예에서 개별 제스처 포지션들 및 손 배향을 추출하기 위한 프로세싱 단계들의 일반화된 표현이다. 도 17에 설명된 바와 같은 출력 "A"로부터 수신된 이벤트는 각각의 변수에 대한 임계치 제한을 초과하는 값들이 평가된다. 값들이 임계치 미만이면, 프로세스는 도 18에서 종료하거나 빠져나간다. 임계치가 초과되면, 그 트리거 이후의 진행 중인 입력들은, 값들이 주어진 변수에 대한 임계치 미만으로 떨어지는 그 순간까지 메모리에 최대한 저장된다. 후속하여, 수집된 데이터는 추적되고 통합된 퍼지 로직(Fuzzy Logic)을 가지는 히든 마코프 모델(Hidden Markov Model) 또는 신경망(Neural Network) 같은 패턴 인식 알고리즘에 영향을 받고, 이의 출력은 액션, 매크로, 저장된 절차, 프로그램 등을 트리거하는 상기 모션을 식별한다.

[0075] 도 19는 마우스 & 조이스틱 제어에 대한 애플리케이션에 의해 수행되는 프로세싱 단계들의 흐름도이다. 도 17에 설명된 바와 같은 출력 "A"로부터 수신된 이벤트는 수신기 컴퓨터의 오퍼레이팅 시스템에서 다양한 마우스-버튼 상태들을 에뮬레이팅(emulate)하는 마우스 움직임들 및 푸시버튼 상태들로 변환되는 손-배향 및 모션에 대해 파싱된다.

[0076] 더 상세히, 도 1-19의 본 발명을 여전히 참조하여, 제스처 글러브는 다수의 방법들을 사용하여 전자 디바이스들을 제어하기 위하여 무선 송신을 사용한다. 실시예에서, 제스처 글러브를 통하여 무선으로 디바이스를 제어하는 3개의 방법들이 있다. 첫째, 손가락들(110) 및 엄지손가락(111)의 벤드 배향은 무선으로 연결된 디바이스를 제어하기 위한 입력 방법으로서 사용될 수 있다. 둘째, 내장된 스위치들(120) 또는 교번하는 사용자 제어부들(예컨대, 조이스틱 또는 용량성 터치 패드)은 링크된 디바이스를 제어하기 위하여 사용될 수 있다. 셋째, 손 배향 및 모션(MPU)(131)은 또한 제스처 제어 파라미터로서 사용될 수 있다. 게다가, 이들 3개의 방법들의 임의의 조합은 복수의 부가적인 제스처 제어들을 위해 사용될 수 있다. 아래에 상세히 설명되는, 새롭고 보편적인 데이터-송신 패킷과 조합되는 입력 방법들의 이런 새로운 혼합은 제스처 글러브를 다기능 인간-기계 인터페이스 디바이스로서 고유 솔루션으로 만든다.

[0077] 제스처 글러브의 가장 뚜렷하고 고유한 기능적 특징들 중 하나는, 벤드 센서(110)가 기능하는 방법이다. 일부 구현들에서, 네 개(4)의 벤드 센서들(110)은 각각의 손가락의 후면측 상의 근위지간관절(102)에서 네 개(4)의 손가락들의 벤드 포지션을 측정한다. 제 5(5번째) 벤드 센서(111)는 엄지손가락과 집게손가락 간에 배치된다. 손가락들이 직선(벤딩되지 않음)일 때, 센서들은 압축되지 않고; 그러므로, 코어 재료(170)의 전도성 밀도는 가장 낮고 센서의 저항은 두 개(2)의 전기 전도성 플레이트들(171) 간의 통로 전류 흐름 경로에서 가장 높다. 벤드 포지션에 따르고, 그리고 5,000 Ω(90 도 벤드) 내지 200,000 Ω (직선, 벤딩되지 않은 포지션) 간에서 가변하는 이런 저항은 마이크로초의 시간 순서로 몇몇 판독치들에 걸쳐 샘플링되고 평균되고 그리고 무선 RFTX(Radio Frequency Transmission Unit)(132)를 통하여 무선 수신기 디바이스로 중계된다.

[0078] 제스처 글러브를 구현하는 제 2 제어 방법은 푸시-버튼 스위치들(120)의 사용을 통해서이다. 마이크로제어기 유닛(MCU)(130)은 데이터-패킷 송신 동안 푸시버튼 스위치들(120)의 두 개(2)의 상태들(온 또는 오프)을 모니터하여 주어진 무선 수신 디바이스에 중계한다.

[0079] 제스처 글러브를 활용하는 제 3 별개의 제어 방법은 손 배향 및 모션의 사용을 통해서이다. 이를 가능하게 하기 위하여, 관성 MPU(Motion Processing Unit)(131)는 XYZ 축 상에서 정적 G-포스(G-Force)를 측정하기 위하여 사용된다. 이들 값들은 무선 데이터-패킷 송신 내에서 무선 수신기 디바이스에 대한 손의 경사-배향으로서 마이크로제어기 유닛(MCU)(130)에 의해 판독되고 송신된다. 손의 공간 모션은 동일한 MPU(131)를 사용하여 측정된다. 임의의 축 평면에서 움직임은 무선 데이터-패킷 송신 내에서 또한 MCU(130)에 의해 판독되고 중계되는 관성력을 MPU(131)에 대해 유발한다. 제스처 검출을 위하여, 제스처 글러브는 다음을 수행하도록 구성가능하다:

i) 사용자가 5개 손가락들 모두가 펴진 채로 올리고 여전히 장갑을 낀 채로 유지할 때 5 단위(5분 또는 5 포인트들)의 값을 검출하는 것과 같은 정적 포지셔널 제스처 검출;

ii) 스와팅(swatting), 또는 스로잉(throwing) 또는 "크로싱 아웃(crossing out)"을 의미하도록 공기 속에서 손의 간단한 모션을 해석하는 것과 같은 단순화된 움직임 제스처 검출;

iii) 특정 포지션에서 손가락들을 홀딩함과 동시에 수행되는 손의 움직임에 특정 의미를 할당하는 것과 같은 조합된 제스처 검출.

[0080] 손의 배향 및 공간 모션을 측정하기 위하여, MPU(131)는 하나 또는 그 초과의 센서들, 이를테면 자기력계들, 자이로스코프들, 관성 센서들, 가속도계들 및 전자-마이오그램들(electro-myograms)을 포함할 수 있다. 이런 자기력계들은 지구의 자기장에 관련하여 사용자의 신체 부분의 배향을 측정할 수 있다. 자이로스코프들은 하나 또는 그 초과의 축들에서 사용자의 신체 부분의 각도 배향의 변화들을 측정할 수 있다. 가속도계들은 하나 또는 그 초과의(예컨대, 3개의) 축들에서 사용자의 신체 부분의 움직임 변화들을 측정할 수 있다. 전자-마이오그램들은 사용자에 의한 근육 수축들 동안 생성되는 전기 신호들을 측정할 수 있다. MPU(131)는 사용자의 피부 상의 텐션(tension) 또는 스트레스 레벨들을 검출하고 센서 데이터를 사용자의 신체 부분(예컨대, 손)의 일반적인 구성에 대응하게 인코딩하도록 구성될 수 있다. 그런 구성들에서, MPU(131)는 사용자의 손바닥의 텐션을 검출할 수 있거나, 사용자 손이 주먹져 있는지 손가락들이 펼쳐졌는지를 검출할 수 있다.

[0081] 일부 구현들에서, MPU(131)는 센서들, 이를테면 자기력계들, 자이로스코프들, 가속도계들 및 전자-마이오그램들의 리던던트 쌍들(예컨대, 2개, 4개, 6개)을 포함할 수 있다. 이들 구성들에서, MPU(131)는 리던던시를 통합하고 리던던트 센서들의 그룹으로부터의 센서 데이터를 평균함으로써 센서 노이즈를 감소시킬 수 있다. 리던던트 센서들의 그룹들로부터의 센서 데이터를 평균함으로써, 하나의 센서에서 발견되는 이상 노이즈는 적절히 기능하는 센서들로부터의 센서 데이터로 비정상적인 노이즈를 가진 센서 데이터를 평균함으로써 최소화될 수 있다.

[0082] 일부 구현들에서, MPU(131)는 다수의 센서 어레이를 포함하여 시간에 걸쳐 축적되는 센서 데이터의 드리프트 또는 부정확도들/노이즈를 감소시킬 수 있다.

[0083] 일부 구현들에서, MPU(131)는 센서들의 어레이를 가지는 맞춤형 인쇄 회로 기판이다. 일부 구현들에서, MPU(131)는 센서들과 MCU(130) 간에 데이터를 송신하기 위하여 멀티-마스터, 멀티-슬레이브, 단일-엔디드(multi-master, multi-slave, single-ended) 직렬 컴퓨터 버스를 포함한다. MCU(130)는 Philips Semiconductor®에 의해 개발된 I2C 프로토콜을 사용하여 MPU(131)로부터의 센서 데이터를 프로세싱할 수 있다. 일부 구현들에서, 각각의 센서는 어드레스가능하고 버스는 2개의 출력들, 클록 신호 및 센서 데이터를 포함한다. 각각의 클록 사이클에서, MCU(130)는, 모든 센서 데이터가 샘플링될 때까지, 각각의 센서로부터 데이터의 하나의 비트를 샘플링한다. 그 다음으로, MCU(130)는 샘플링 프로세스를 반복한다.

[0084] 일단 데이터-패킷이 무선 수신기 디바이스에 의해 수신되면, 데이터-패킷은 각각 호환 가능하게 커플링되거나 디커플링되도록 지정된 프로세싱 계층들의 캐스케이드를 통하여 영향을 받고, 이는 제스처 글러브가 최소의 애드-온(add-on) 전자장치 또는 계산력으로 넓은 범위의 분야 애플리케이션에 보편적으로 적응가능되게 한다. 도 17은 데이터-패킷을 인터셉팅하고 프로세싱의 상위 계층들로 전달되기 전에 제스처 글러브에 의해 송신되는 각각의 변수 값들을 사전-프로세싱하기 위한 프로세스를 설명한다. 이 방법은 제스처 제어 데이터를 인터셉트하고 더 복잡한 제어 애플리케이션들을 만들어 내기 위하여 1차 계층의 표준 절차들을 사용하는 캡슐화 클래스로 가져올 수 있는, 소프트웨어 클래스 형태로 표준화될 수 있는 통신용 베이스 계층을 설정한다. 예로서, 미리 정의된 제스처 또는 손 움직임을 검출하여 프로그램, 방법, 매크로, 등을 체인 위쪽으로 좀 더 트리거하기 위한 상위 레벨 클래스 또는 절차가 도 18에 설명된다. 마우스 제어를 위한 다른 애플리케이션은 도 19에 설명된다. 블루투스, 라디오 주파수(예컨대, 진폭 변조, 주파수 변조, 위상 변조) 또는 WiFi를 통하여 컴퓨터에 의해 수신된 데이터는 마우스에 대한 포지셔널 X, Y 값들을 표현하도록 파싱 및 변환될 뿐 아니라, 버튼 상태는 마우스 움직임들을 에뮬레이팅하고 컴퓨터의 상주 오퍼레이팅 시스템을 클릭하도록 맵핑될 수 있다. 부가적으로, 제스처 제어 애플리케이션 및 마우스 제어 애플리케이션은 제스처 글러브의 손가락, 스위치, 및 모션 센서들의 조합 사용을 통하여 다수의 제어들로 보다 더 견고한 애플리케이션들을 생성하기 위해 함께 캐스케이드될 수 있다. 게다가, 왼손 및 오른손 글러브들은 수신기 디바이스의 보다 더 나은 제어를 위해 협력하여 사용될 수 있다.

[0085] 더 상세하게, 도 1-19의 본 발명을 계속해서 참조하여, 제스처 글러브는 성인들 및 아이들에 대한 가장 흔한 손 사이즈들에 맞추기 위하여 몇 개의 사이즈들(소형, 중형, 및 대형)로 만들어질 수 있다.

[0086] 개선된 탄성의 압축 피트 재료들의 선택적인 사용에 의해, 잠재적인 사용자들의 대부분의 손 사이즈들을 단지 몇 개의 미리-세팅된 사이즈들의 제스처 글러브를 생산하는 것이 가능할 수 있다.

[0087] 이의 구성에 관해, 기술 분야에서 알려진 임의의 적절한 글러브 제작 기법은 제스처 글러브를 어셈블리하기 위하여 사용될 수 있다. 도 1-19에 도시된 바와 같이, 본 발명의 일 실시예는, 제스처 글러브를 얇고, 내구성 있고 그리고 실용적으로 만들기 위해 층들로 어셈블리된다. 제 1(최내부) 층에서 시작하여, 내부 라이닝(100)은 부드럽고 편안한 코튼 또는 폴리에스테르의 혼방 또는 임의의 다른 적절한 재료로 만들어진다. 내부 라이닝(100)의 상단 상에는 벤드 센서들(110, 111), 푸시버튼 스위치들(120, 121, 122) 및 이들의 개별 전력 및 통신 와이어링(112, 113, 123, 124)이 장착된다. 펠트-타입 재료(140)(또는 임의의 다른 적절한 재료)의 층은 뒤따를 전자 층에 대한 격리 및 보호를 위해 이 와이어링 층 위에 도입된다. 도 9에 도시된 바와 같이 슬릿(slit), 오리피스(orifice) 또는 컷-아웃(cut-out)(141)은 이런 펠트-타입 재료(140)의 중앙에 만들어져 더 낮은 기층들 와이어링으로 하여금 펠트-타입 재료의 상단 상에 배치된 전자장치 층 상에 드러나게 한다. 마이크로제어기 유닛(MCU)(130), MPU(Motion Processing Unit)(131), RFTX(Radio Frequency Transmitter)(132) 및 배터리(133)는, 이들의 개별 통신 및 전력 와이어링과 함께, 전자장치 층에 위치된다. 그 다음으로, 전자장치 및 벤드 센서들은 펠트-타입 재료의 다른 층(도 10의 영역들(150, 151, 152)에 적용됨)으로 커버되어 사용 동안 이들 센서들을 물리적 손상에 대해 보호하고 그리고 전자장치, 센서들, 스위치들, 및 와이어링에 의해 유발되는 임의의 돌출부가 무뎌지게 함으로써, 글러브에 평활한 윤곽 또는 마무리를 제공한다. 마지막으로, 마무리된 글러브를 만들기 위하여, 아래의 모든 층들의 상단 상에 글러브 형태의 압축 피트 재료가 위치된다. 일 구현에서, 최종 글러브 어셈블리의 플렉서빌러티(flexibility) 및 느낌은 스너그 피트(snug fit)를 가지는 기성품 고품질, 고성능 글러브에 매우 가깝다. 다른 구현에서, 제스처 글러브에 부착되는 전자 엘리먼트들에 대한 지지부를 제공하기 위하여, 맞춤형-제작 비계, 내부 뼈대 또는 외부-뼈대는 제스처 글러브에 장착될 수 있거나 또는 제스처 글러브의 하나 또는 그 초과 또는 모든 층들을 대체할 수 있다. 또 다른 구현에서, 본 발명의 전자 컴포넌트들은 가먼트(garment) 글러브를 닮은 하나 또는 그 초과의 커버링 층(들)을 가지거나 가지지 않고, 임의의 알려진 수단에 의해 사용자의 손가락들, 엄지손가락, 손바닥 또는 손등에 직접 및/또는 개별적으로 부착될 수 있다.

[0088] 본 발명의 다양한 구현들의 장점들은, 제한 없이, 그의 표준 프로토콜 및 베이스 클래스 소프트웨어로 인한 그의 플러그 & 플레이 능력을 포함한다. 제스처 글러브는 그의 다양한 구현들에서, 몇백의 별개의 제스처들을 허용하는 다수의 제어 입력들을 제공한다. ASCII 데이터-패킷 송신 구현은 매우 다양한 디바이스들에 대한 입력 인터페이스로서 제스처 글러브를 사용할 수 있는 애플리케이션들의 빠르고 쉬운 개발을 허용한다. 슬림하고, 플렉서블한 외관은 사용자에게 일반 글러브 착용 느낌을 제공한다. 일부 구현들은 손가락이 없는 글러브, 하나 또는 다수의 손가락들 둘레에 또는 다른 신체 부분, 이를테면 손목, 팔목, 팔꿈치, 발목, 발 또는 종아리 중 하나 또는 그 초과 둘레에 맞추어지는 슬리브(sleeve)와 같은 상이한 착용가능 HMI 디바이스 폼 팩터들에서 유사한 데이터 프로세싱 원리들 및 컴포넌트들을 이용한다.

[0089] 일부 구현들에서, 본 발명은 그의 사용자들이 더 동적이고 자연스러운 방식으로 전자-기계 및 전자 디바이스들과 인터페이스하는 능력을 가능하게 하는 착용가능 디바이스이다.

[0090] 도 20a는, 일부 구현들에 따라 제스처 글러브가 구현하는 착용가능 HMI(human machine interface) 디바이스(2001) 및 착용가능 HMI 디바이스에 의해 제어가능한 전자 디바이스(2020)를 포함하는 마스터-슬레이브 환경(2000)의 블록 다이어그램이다. 일부 구현들에서, 마스터-슬레이브 환경(100)은 전자 디바이스(2020)(예컨대, 무인 항공기, 콘솔 애플리케이션, RF 수신기 디바이스)에 커플링되는 HMI 디바이스(2001)(예컨대, 제스처 글러브) 및 이들 컴포넌트들을 상호연결하기 위한 통신 네트워크(들)(2010)를 포함한다. 하나 또는 그 초과의 네트워크들(2010)의 예들은 로컬 영역 네트워크들(LAN) 및 광역 네트워크들(WAN), 이를테면 인터넷을 포함한다. 하나 또는 그 초과의 네트워크들(2010)은 선택적으로, 다양한 유선 또는 무선 프로토콜들, 이를테면 이더넷, USB(Universal Serial Bus), FIREWIRE, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi, VoIP(voice over Internet Protocol), Wi-MAX, 또는 임의의 다른 적절한 통신 프로토콜을 포함하여, 임의의 알려진 네트워크 프로토콜을 사용하여 구현된다.

[0091] 일부 구현들에서, HMI 디바이스(2001)는 센서(들)(2002) 및/또는 마이크로제어기(2004)를 포함한다. 센서(들)(2002)는 사용자의 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션(즉, 제스처)을 검출하고 배향 및/또는 포지션 및/또는 움직임 및/또는 플렉션에 대응하는 센서 데이터를 생성하도록 구성된다. 마이크로제어기(2004)는 센서(들)(2002)로부터의 센서 데이터를 샘플링하고 센서 데이터 또는 대응하는 제스처 제어 데이터를 전자 디바이스(2020)에 송신할지를 결정하도록 구성된다. 본원에 설명된 바와 같이, 마이크로제어기(2004)는 상이한 모드들, 이를테면 낮은 레이턴시 모드 및 높은 정확도 모드에서 동작하고, 그리고 모드에 기반하여 제어 데이터를 전자 디바이스(2020)에 송신하도록 구성될 수 있다. 제어 데이터는, 전자 디바이스(2020)에 의해 프로세싱될 때, 전자 디바이스(2020)로 하여금 액션을 수행(예컨대, 마우스 클릭 기능을 수행하거나 무인 항공기를 조종)하게 하는 데이터이다.

[0092] 일부 구현들에서, 전자 디바이스(2020)는 애플리케이션(2022) 및/또는 제스처 라이브러리(library)(2024), 및/또는 지능형 제스처 검출 알고리즘(2026)을 포함할 수 있다. 애플리케이션(2022)은 HMI 디바이스(2001)로부터 수신된 제어 데이터를 프로세싱하고 전자 디바이스(2020)로 하여금 액션을 수행하게 하는 커맨드를 실행하도록 구성된다. 일부 구현들에서, 제어 데이터는 센서 데이터이다. 이들 구현들에서, 애플리케이션(2022)은 센서 데이터를 분석하고 센서 데이터에 기반하여 제스처 라이브러리(2024)로부터 제스처 커맨드를 리트리브한다. 제스처 라이브러리(2024)는 센서 데이터에 상관되는 제스처 커맨드들의 데이터베이스이다. 제스처 라이브러리(2024)의 예는 도 19에서 "EXECUTE COMMAND CASCADE BASED ON SENSOR STATE"라는 제목의 섹션에 도시된다. 지능형 제스처 검출 알고리즘(2026)은, 제스처 라이브러리(2024)가 센서 데이터에 상관되는 임의의 미리 세팅된 제스처 커맨드들을 가지지 않을 때 좌도 제스처의 지능형 검출을 허용하고; 대신, 새로운 제스처들은 지능형 프로세싱, 추측 및/또는 순간적 계산에 의해 검출될 수 있다. 도 20a 및 20b에 도시된 바와 같이, 제스처 라이브러리 및 지능형 제스처 검출부는 제어된 디바이스 자체(도 20a에서 처럼) 또는 HMI 디바이스(도 20b에서 처럼) 어느 한쪽 상에 상주할 수 있다.

[0093] 일부 구현들에서, HMI 디바이스(2001)로부터 송신된 제어 데이터는 제스처 커맨드이다. 이들 구현들에서, 제스처 라이브러리(2024)는 HMI 디바이스(2001) 상에 존재할 수 있다. 이들 구현들에서, 마이크로제어기(2004)는 센서 데이터를 분석하고 센서 데이터에 기반하여 제스처 라이브러리(2024)로부터 제스처 커맨드를 리트리브할 수 있다. 제스처 커맨드가 전자 디바이스(2020)에 송신되면, 애플리케이션(2022)은 커맨드를 실행하고 전자 디바이스(2020)로 하여금 액션을 수행하게 한다.

[0094] 도 21은 도 20a의 착용가능 HMI 디바이스의 기능적 세부사항들을 도시하는 블록 다이어그램이다.

[0095] 일부 구현들에서, HMI 디바이스(2001)는 제어 프로세싱 유닛(CPU)들, 이를테면 도 20에 도시된 마이크로제어기(2002)(즉, MCU), MPU(2102), 하나 또는 그 초과의 네트워크 인터페이스들 또는 다른 통신 인터페이스들(2104)(예컨대, RFTX), 사용자 인터페이스(2110), 메모리(2106), 및 이들 컴포넌트들을 상호연결하기 위한 하나 또는 그 초과의 통신 버스들(2108)을 포함한다. 통신 버스들(2108)은 시스템 컴포넌트들 간을 상호연결하고 이들 간의 통신들을 제어하는 회로(때때로 칩셋으로 지칭됨)를 포함할 수 있다.

[0096] 일부 구현들에서, HMI 디바이스(2001)는 사용자의 신체 부분의 배향 및 움직임을 직접적으로 또는 간접적으로 결정하는 하나 또는 그 초과의 모션 센서들(2116)을 포함한다. 일부 구현들에서, 위치/모션 센서들(316)은 자이로스코프들, 가속도계들, 및 GPS 디바이스들(그러나 이에 제한되지 않음)을 포함한다. 일부 구현들에서, HMI 디바이스(2001)는 또한 사용자의 신체 부분의 플렉션을 결정하는 하나 또는 그 초과의 벤드 센서들(2110)을 포함할 수 있다. 일부 구현들에서, HMI 디바이스(2001)는 또한 사용자-개시 버튼 푸시를 검출하는 하나 또는 그 초과의 푸시버튼 센서(들)(2112)를 포함할 수 있다. 위의 센서들 중 임의의 센서에 의해 생성되는 센서 데이터는 임의의 조합으로, HMI 디바이스(2001)에 의해 사용되어 사용자 제스처들을 추적하고 추적된 사용자 제스처들에 대응하는 제스처 커맨드들에 기반하여 전자 디바이스(2020)를 제어할 수 있다.

[0097] 메모리(2106)는 고속 랜덤 액세스 메모리, 이를테면 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들을 포함하고; 그리고 선택적으로 비-휘발성 메모리, 이를테면 하나 또는 그 초과의 자기 디스크(disk) 저장 디바이스들, 광학 디스크(disk) 저장 디바이스들, 플래시 메모리 디바이스들, EPROM, EEPROM 또는 다른 알려진 비-휘발성 고체 상태 저장 디바이스들을 포함한다. 메모리(2106)는 선택적으로 CPU(들)(2002)로부터 원격으로 위치된 하나 또는 그 초과의 저장 디바이스들(예컨대, 클라우드 저장소)을 더 포함한다. 메모리(2106), 또는 대안적으로 메모리(2106) 내의 비-휘발성 메모리 디바이스(들)는 비-일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(2106) 또는 메모리(2106)의 컴퓨터 판독가능 저장 매체는 다음 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브세트 또는 슈퍼세트(superset)를 저장한다:

● 다양한 기본 시스템 서비스들을 핸들링하고 하드웨어 종속 태스크(task)들을 수행하기 위한 절차들을 포함하는 오퍼레이팅 시스템(2120);

● HMI 디바이스(2001)를 예컨대 RFTX(2104)(유선 또는 무선) 및 하나 또는 그 초과의 네트워크들(2010)(도 20a), 이를테면 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 메트로폴리탄 영역 네트워크들 등을 통하여 전자 디바이스(2020)에 연결하기 위하여 사용되는 네트워크 통신 모듈(2122)(또는 송신 모듈);

● 복수의 센서들(2216, 2110 및 2112)로부터의 센서 데이터를 샘플링하기 위한 샘플링 모듈(2124);

● 복수의 센서들 중 하나로부터의 센서 데이터가 송신 기준들을 충족하는지를 결정하기 위한 결정 모듈(2126);

● 낮은 레이턴시 모드에서 동작할 때 복수의 센서들 중 일부로부터의 센서 데이터에 기반하여 제어 데이터를 생성하고 높은 정확도 모드에서 동작할 때 복수의 센서들 모두로부터의 센서 데이터에 기반하여 제어 데이터를 생성하기 위한 생성 모듈(2127); 및

● 복수의 센서들로부터의 센서 데이터에 기반하여 제어가능 디바이스에 대한 제스처 커맨드를 선택하기 위한 선택 모듈(2128).

[0098] 위에서 식별된 엘리먼트들 각각은 HMI 디바이스(2001)의 이전에 언급된 메모리 디바이스들 중 하나 또는 그 초과에 저장될 수 있고, 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들, 모듈들 또는 데이터 구조들로서 구현될 필요가 없고, 따라서 이들 모듈들의 다양한 서브세트들은 결합될 수 있거나 그렇지 않으면 다양한 구현들로 재배열될 수 있다. 일부 구현들에서, 메모리(2106)는 선택적으로 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 게다가, 메모리(2106)는 선택적으로 위에서 설명되지 않은 부가적인 모듈들 및 데이터 구조들을 저장한다.

[0099] 도 22는 도 20a의 착용가능 HMI 디바이스(2001)에 의해 제어가능한 전자 디바이스(2020)의 기능적 세부사항들을 도시하는 블록 다이어그램이다. 일부 구현들에서, 전자 디바이스(2020)는 하나 또는 그 초과의 프로세싱 유닛(CPU)들(2204), 하나 또는 그 초과의 네트워크 인터페이스들 또는 다른 통신 인터페이스들(2204), 메모리(2206), 및 이들 컴포넌트들을 상호연결하기 위한 하나 또는 그 초과의 통신 버스들(2208)을 포함한다. 통신 버스들(2208)은 시스템 컴포넌트들 간을 상호연결하고 이들 간의 통신들을 제어하는 회로(때때로 칩셋으로 지칭됨)를 포함할 수 있다.

[00100] 일부 선택적인 구현들에서, 전자 디바이스(2020)는 또한 하나 또는 그 초과의 출력 디바이스들을 사용하여 그래픽 사용자 인터페이스(GUI)를 제시하고 하나 또는 그 초과의 입력 디바이스들을 통하여 사용자 입력들을 수신하는 사용자 인터페이스를 포함한다. 일부 선택적인 구현들에서, 전자 디바이스(2020)는 제로 또는 더 많은 디스플레이 디바이스들(2212)(예컨대, 스크린 또는 모니터) 및 제로 또는 더 많은 입력 디바이스들 또는 메커니즘들(2214)을 포함하는 사용자 인터페이스(2210)를 포함한다. 선택적으로 하나 또는 그 초과의 시각적 디스플레이들을 포함하고 선택적으로 하나 또는 그 초과의 스피커들을 포함하는 하나 또는 그 초과의 출력 디바이스들은 전자 디바이스(2020)에 의한 미디어 콘텐츠의 제시를 가능하게 한다. 일부 구현들에서, 하나 또는 그 초과의 입력 디바이스들은 사용자 입력을 가능하게 하는 사용자 인터페이스 컴포넌트들, 이를테면 키보드, 마우스, 음성-커맨드 입력 유닛 또는 마이크로폰, 터치 스크린 디스플레이, 터치-감지 입력 패드, 카메라, 제스처 캡처링 카메라, 및/또는 다른 입력 버튼들 또는 제어부들을 포함하고, 그리고 선택적으로 그런 입력 디바이스들 중 2 또는 그 초과를 포함한다. 게다가, 전자 디바이스(2020)는 물리적 또는 가상 키보드를 보충하거나 대체하기 위하여 마이크로폰 및 음성 인식, 또는 카메라 및 홍채/안면 인식을 사용할 수 있다.

[00101] 메모리(2206)는 고속 랜덤 액세스 메모리, 이를테면 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들을 포함하고; 그리고 선택적으로 비-휘발성 메모리, 이를테면 하나 또는 그 초과의 자기 디스크(disk) 저장 디바이스들, 광학 디스크(disk) 저장 디바이스들, 플래시 메모리 디바이스들, EPROM, EEPROM 또는 다른 알려진 비-휘발성 고체 상태 저장 디바이스들을 포함한다. 메모리(2206)는 선택적으로 CPU(들)(2204)로부터 원격으로 위치된 하나 또는 그 초과의 저장 디바이스들(예컨대, 클라우드 저장소)을 더 포함한다. 메모리(2206), 또는 대안적으로 메모리(2206) 내의 비-휘발성 메모리 디바이스(들)는 비-일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(2206) 또는 메모리(2206)의 컴퓨터 판독가능 저장 매체는 다음 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브세트 또는 슈퍼세트를 저장한다:

● 다양한 기본 시스템 서비스들을 핸들링하고 하드웨어 종속 태스크들을 수행하기 위한 절차들을 포함하는 오퍼레이팅 시스템(2220);

● 전자 디바이스(2020)를 하나 또는 그 초과의 통신 네트워크 인터페이스들(2204)(유선 또는 무선) 및 하나 또는 그 초과의 네트워크들(2010)(도 20a), 이를테면 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 메트로폴리탄 영역 네트워크들 등을 통하여 HMI 디바이스(2001)에 연결하기 위하여 사용되는 네트워크 통신 모듈(2222);

● 대응하는 제스처 커맨드를 결정하기 위하여 HMI 디바이스(2001)로부터의 센서 데이터(즉, 제어 데이터)를 분석하고 및/또는 전자 디바이스(2020)로 하여금 액션을 수행하게 하는 제스처 커맨드들을 실행하기 위한 애플리케이션 모듈(2224);

● 제스처 커맨드들 및 대응하는 센서 데이터를 저장하고 애플리케이션 모듈(2224)로부터 제스처 커맨드들에 대한 요청들을 프로세싱하기 위한 제스처 라이브러리(2230).

[00102] 위에서 식별된 엘리먼트들 각각은 전자 디바이스(2020)의 이전에 언급된 메모리 디바이스들 중 하나 또는 그 초과에 저장될 수 있고, 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들, 모듈들 또는 데이터 구조들로서 구현될 필요가 없고, 따라서 이들 모듈들의 다양한 서브세트들은 결합될 수 있거나 그렇지 않으면 다양한 구현들로 재배열될 수 있다. 일부 구현들에서, 메모리(2206)는 선택적으로 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 게다가, 메모리(2206)는 선택적으로 위에서 설명되지 않은 부가적인 모듈들 및 데이터 구조들을 저장한다.

[00103] 일부 구현들에서, 전자 디바이스(2020)의 기능들 중 적어도 일부는 HMI 디바이스(2001)에 의해 수행되고, 이들 기능들의 대응하는 서브-모듈들은 HMI 디바이스(2001) 내에 위치될 수 있다. 게다가, 일부 구현들에서, HMI 디바이스(2001)의 기능들 중 적어도 일부는 전자 디바이스(2020)에 의해 수행되고, 이들 기능들의 대응하는 서브-모듈들은 전자 디바이스(2020) 내에 위치될 수 있다. 도 20에 도시된 HMI 디바이스(2001), 및 전자 디바이스(2020)는 단순히 예시이고, 본원에 설명된 기능들을 구현하기 위한 모듈들의 상이한 구성들은 다양한 구현들에서 가능하다.

[00104] 본원에 설명된 디바이스들 및 기법들을 사용하여, 몇백의 맞춤형 제스처들을 정의하고 그리고 실행될 때, 전자 디바이스(2020)로 하여금 액션을 수행하게 하는 몇백의 맞춤형 제스처 커맨드들을 구현하기 위하여 사용자가 HMI 디바이스(2001)의 제어 방식들(버튼들, 손가락들, 모션들, 센서들, 스위치들, 소형 조이스틱들 등) 중 임의의 것을 이용할 수 있다는 것이 고려된다. 이는, 다른 이유들 중에서도, 개시된 프로세싱 기법들, 리던던트 센서들 및/또는 개시된 플렉스 센서들의 정확도에 의해 허용되는 정확성으로 인해 가능하다.

[00105] 맞춤형 제스처들을 생성하기 위하여, HMI 디바이스 또는 다른 전자 디바이스 상에서 실행되는 제스처 글러브 콘솔 애플리케이션은 학습 모드로 놓여질 수 있고, 학습 모드 동안, 맞춤형 제스처의 반복된 시행들은 제스처 글러브를 착용한 사용자/오퍼레이터에 의해 수행된다.

[00106] 산업 표준 패턴 인식 알고리즘을 사용하는 현재 최선의 애플리케이션들에서, 데이터 변화량을 감소시키고 필드 애플리케이션에서 제스처 패턴의 재사용을 위한 적당한 판단 경계를 추정하기 위하여 주어진 맞춤형 제스처에 대해 우수한 통계적 데이터 세트를 설정하도록 동일한 제스처 패턴의 대략 일 백번 시행들이 요구된다. 이들 기법들은 여전히 연구 및 개발 중이다.

[00107] 대조하여, 제스처 글러브 콘솔 애플리케이션은 맞춤형 제스처들이 패턴 인식 알고리즘에 의해 적당하게 인지되도록 10번 미만의 훈련 반복들을 요구한다. 이것은 맞춤형 제스처에 대한 더 적은 훈련 세트들로 판단 경계의 더 나은 예측을 가능하게 하는 새로운 계산적 방법론에 주입된 KNN(K-Nearest Neighbors), DTW(Dynamic Time Warping), SVM(Support Vector Machines), 및 비선형 상관으로부터의 부분적 알고리즘의 조합을 포함하는 가중된 통계적 조치들을 사용하는 알고리즘 또는 수학식에 의해 달성된다. 이런 방법론으로부터의 예측 출력은 낮은 레이턴시 애플리케이션들에 직접 사용될 수 있거나, 또는 높은 정확도 애플리케이션들을 위한 부가적인 인식 계층들, 이를테면 신경망들, 판단 트리들, 또는 히든 마코프에 추가로 영향을 받는다.

[00108] 맞춤형 제스처가 제스처 라이브러리에 첨부되면, 제스처 라이브러리는 콘솔 애플리케이션으로부터 사용될 수 있거나 직접 필드 사용을 위해 제스처 글러브 MCU에게 업로딩될 수 있다.

[00109] 본원에 설명된 방법들 각각은 통상적으로 컴퓨터 판독가능 저장 매체에 저장되고 하나 또는 그 초과의 서버들 또는 클라이언트 디바이스들의 하나 또는 그 초과의 프로세서들에 의해 실행되는 명령들에 의해 관리된다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없고, 따라서 이들 모듈들의 다양한 서브세트들은 결합될 수 있거나 그렇지 않으면 다양한 구현들로 재배열될 수 있다.

[00110] 전술한 설명은 설명의 목적을 위하여, 특정 구현들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 제한하거나 또는 총망라하는 것으로 의도되지 않는다. 위의 교시들을 고려하여 많은 수정들 및 변형들이 가능하다. 구현들은 본 발명의 원리들 및 이의 실제 응용을 가장 잘 설명하고, 이에 의해 당업자가 본 발명 및 고려된 특정 용도에 적당한 다양한 수정들을 가진 다양한 구현들을 가장 잘 활용하게 하기 위하여 선택되고 설명되었다.

Claims

마이크로제어기, 객체(object)에 부착된 하나 이상의 센서들, 및 상기 마이크로제어기에 의한 실행을 위한 프로그램들을 저장하는 메모리를 포함하는 시스템에서:
상기 객체의 모션(motion)에 응답하여 상기 하나 이상의 센서들로부터 제1 센서 데이터를 수신하고 그리고 저장하는 단계;
상기 제1 센서 데이터가 제1 임계치를 충족하는지 여부를 결정하는 단계;
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
제2 센서 데이터가 제2 임계치를 충족하는 한 그동안(for as long as) 상기 객체의 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 상기 제2 센서 데이터를 수신하고 그리고 저장하는 단계;
상기 제2 센서 데이터 상에서 패턴 인식을 수행하는 단계; 및
상기 제2 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제1 포지션을 식별하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 제1 센서 데이터의 적어도 일부 상에서 패턴 인식을 수행하는 단계
를 더 포함하고,
상기 제1 포지션을 식별하는 것은 상기 제1 센서 데이터의 일부의 패턴 인식에 추가로 기초하는, 방법.
제1항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
상기 후속 모션에 응답하여 상기 하나 이상의 센서들 중 제2 센서로부터 제3 센서 데이터를 수신하고 그리고 저장하는 단계;
상기 제3 센서 데이터 상에서 패턴 인식을 수행하는 단계; 및
상기 제2 및 제3 센서 데이터의 패턴 인식에 기초하여 상기 객체의 상기 제1 포지션을 식별하는 단계
를 더 포함하는, 방법.
제1항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
추가적인 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 제4 센서 데이터를 수신하고 그리고 저장하는 단계;
상기 제4 센서 데이터 상에서 패턴 인식을 수행하는 단계; 및
상기 제4 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제2 포지션을 식별하는 단계
를 더 포함하는, 방법.
제4항에 있어서,
상기 객체의 상기 제1 포지션 및 상기 제2 포지션을 추적(trace)하는 단계; 및
상기 추적하는 것에 기초하여 상기 객체의 경로를 저장하는 단계
를 더 포함하는, 방법.
제1항에 있어서,
상기 패턴 인식은 KNN(K-Nearest Neighbors), 신경망들, 판단 트리들, 또는 히든 마코프(hidden Markov) 중 적어도 하나를 포함하는 하나 이상의 인식 계층들을 포함하는, 방법.
하나 이상의 마이크로제어기들, 객체에 부착된 하나 이상의 센서들, 및 상기 하나 이상의 마이크로제어기들에 의해 실행될 하나 이상의 프로그램들을 저장하는 메모리를 포함하고,
상기 하나 이상의 프로그램들은:
상기 객체의 모션에 응답하여 상기 하나 이상의 센서들로부터 제1 센서 데이터를 수신하고 그리고 저장하고;
상기 제1 센서 데이터가 제1 임계치를 충족하는지 여부를 결정하고;
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
제2 센서 데이터가 제2 임계치를 충족하는 한 그동안 상기 객체의 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 상기 제2 센서 데이터를 수신하고 그리고 저장하고;
상기 제2 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제2 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제1 포지션을 식별하기 위한
명령들을 포함하는, 시스템.
제7항에 있어서,
상기 제1 센서 데이터의 적어도 일부 상에서 패턴 인식을 수행하기 위한 명령들
을 더 포함하고,
상기 제1 포지션을 식별하는 것은 상기 제1 센서 데이터의 일부의 패턴 인식에 추가로 기초하는, 시스템.
제7항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
상기 후속 모션에 응답하여 상기 하나 이상의 센서들 중 제2 센서로부터 제3 센서 데이터를 수신하고 그리고 저장하고;
상기 제3 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제2 및 제3 센서 데이터의 패턴 인식에 기초하여 상기 객체의 상기 제1 포지션을 식별하기 위한
명령들을 더 포함하는, 시스템.
제7항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
추가적인 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 제4 센서 데이터를 수신하고 그리고 저장하고;
상기 제4 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제4 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제2 포지션을 식별하기 위한
명령들을 더 포함하는, 시스템.
제10항에 있어서,
상기 객체의 상기 제1 포지션 및 상기 제2 포지션을 추적하고; 그리고
상기 추적하는 것에 기초하여 상기 객체의 경로를 저장하기 위한
명령들을 더 포함하는, 시스템.
제7항에 있어서,
상기 패턴 인식은 KNN(K-Nearest Neighbors), 신경망들, 판단 트리들, 또는 히든 마코프(hidden Markov) 중 적어도 하나를 포함하는 하나 이상의 인식 계층들을 포함하는, 시스템.
컴퓨터 시스템에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은:
객체의 모션에 응답하여 상기 객체에 부착된 하나 이상의 센서들로부터 제1 센서 데이터를 수신하고 그리고 저장하고;
상기 제1 센서 데이터가 제1 임계치를 충족하는지 여부를 결정하고;
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
제2 센서 데이터가 제2 임계치를 충족하는 한 그동안 상기 객체의 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 상기 제2 센서 데이터를 수신하고 그리고 저장하고;
상기 제2 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제2 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제1 포지션을 식별하기 위한
명령들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제13항에 있어서,
상기 제1 센서 데이터의 적어도 일부 상에서 패턴 인식을 수행하기 위한 명령들
을 더 포함하고,
상기 제1 포지션을 식별하는 것은 상기 제1 센서 데이터의 일부의 패턴 인식에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제13항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
상기 후속 모션에 응답하여 상기 하나 이상의 센서들 중 제2 센서로부터 제3 센서 데이터를 수신하고 그리고 저장하고;
상기 제3 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제2 및 제3 센서 데이터의 패턴 인식에 기초하여 상기 객체의 상기 제1 포지션을 식별하기 위한
명령들을 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제13항에 있어서,
상기 제1 센서 데이터가 상기 제1 임계치를 충족한다는 결정에 따라서:
추가적인 후속 모션에 응답하여 상기 하나 이상의 센서들로부터 제4 센서 데이터를 수신하고 그리고 저장하고;
상기 제4 센서 데이터 상에서 패턴 인식을 수행하고; 그리고
상기 제4 센서 데이터의 패턴 인식에 기초하여 상기 객체의 제2 포지션을 식별하기 위한
명령들을 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제16항에 있어서,
상기 객체의 상기 제1 포지션 및 상기 제2 포지션을 추적하고; 그리고
상기 추적하는 것에 기초하여 상기 객체의 경로를 저장하기 위한
명령들을 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제13항에 있어서,
상기 패턴 인식은 KNN(K-Nearest Neighbors), 신경망들, 판단 트리들, 또는 히든 마코프(hidden Markov) 중 적어도 하나를 포함하는 하나 이상의 인식 계층들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.