KR102220893B1

KR102220893B1 - 표면들 상에서의 제스처 인식을 위한 emg의 사용

Info

Publication number: KR102220893B1
Application number: KR1020157021340A
Authority: KR
Inventors: 배백 포르탄포어; 시바쿠마르 바라수브라마니얌; 비터 알. 카르발로; 베네트 엠. 킹; 질 에스. 이와사키
Original assignee: 퀄컴 인코포레이티드
Priority date: 2013-01-14
Filing date: 2014-01-10
Publication date: 2021-02-25
Also published as: JP6227669B2; EP2943855A1; KR20150107785A; CN104919397B; US20140198944A1; WO2014110439A1; EP2943855B1; US9092664B2; CN104919397A; JP2016507098A

Abstract

표면에 대한 신체 부분의 제스처를 검출하기 위한 장치, 방법, 및 컴퓨터 프로그램 물건이 제공된다. 장치는, 신체 부분이 표면에 근접해 있는지를 결정한다. 신체 부분이 표면에 근접해 있으면, 장치는, 신체 부분으로부터 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정한다. 신체 부분이 표면과 접촉해 있으면, 장치는, 신체 부분으로부터 감지된 모션 활동이 제스처를 표시하는지를 결정한다.

Description

표면들 상에서의 제스처 인식을 위한 EMG의 사용{USE OF EMG FOR GESTURE RECOGNITION ON SURFACES}

[0001] 본 개시는 일반적으로 제스처 인식에 관한 것으로, 더 상세하게는, 표면들 상에서의 미세한(subtle) 제스처의 인식을 위한 근전도검사(electromyography)(EMG)의 사용에 관한 것이다.

[0002] 증강 현실(AR)을 구현하기 위한 시스템들 및 애플리케이션들은 매우 인기를 얻고 있으며 광범위해지고 있다. 통상적으로, AR 시스템들은, 사용자가 e-mail 및 미디어 플레이어들과 같은 애플리케이션들과 상호작용하면서 주변환경들을 보는 동시에 주변환경들과 상호작용하게 하는 HMD(head mounted display)를 포함한다. 많은 AR 애플리케이션들이 스마트폰들 및 태블릿들 상에서 구동될 수도 있지만, AR 시스템들을 구현하기 위한 가장 자연스러운 폼 팩터(form factor)는 안경과 같은 광학 디바이스들이다.

[0003] AR 안경을 통해 애플리케이션과 상호작용하기 위한 종래의 방법들은 손 제스처들을 포함하며, 이에 의해, AR 안경의 시야(field of vision) 내에서의 착용자의 손들에 의한 상이한 다양한 모션(motion)들이 안경의 상이한 동작들을 개시되게 한다. 그러나, 그러한 방법들은 상당한 문제점들로부터 어려움을 겪는다. 예를 들어, 착용자는 공중 앞에서 그러한 다양한 제스처들을 행함으로써 자신이 주의를 끄는 것을 원하지 않을 수도 있다. 따라서, 사적인(private) 상황, 준-사적인(semi-private) 상황, 및 공개적인 상황을 위한 상이한 세트의 제스처들을 갖는 것이 바람직하다.

[0004] 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치, 방법, 및 컴퓨터 프로그램 물건이 제공된다. 장치는, 신체 부분이 표면에 근접해 있는지를 결정한다. 신체 부분이 표면에 근접해 있으면, 장치는, 신체 부분으로부터 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정한다. 신체 부분이 표면과 접촉해 있으면, 장치는, 신체 부분으로부터 감지된 모션 활동이 제스처를 표시하는지를 결정한다.

[0005] 도 1은, 사용자 디바이스 및 제스처 인식 디바이스를 포함하는 예시적인 제스처 시스템을 예시하는 도면이다.
[0006] 도 2는, 제스처를 인식하고 그 제스처에 기초하여 사용자 디바이스의 동작을 유발하는 방법의 흐름도이다.
[0007] 도 3은, 신체 부분이 표면에 접촉해 있는 것과 신체 부분이 표면에 접촉해 있지 않은 것 둘 모두에 대응하는 EMG 센서의 출력에서의 변화들을 예시하는 그래프이다.
[0008] 도 4는, 신체 부분의 제스처에 대응하는 가속도계 출력에서의 변화들을 예시하는 그래프이다.
[0009] 도 5는, 일 예시적인 제스처 인식 장치에서의 상이한 모듈들/수단들/컴포넌트들의 동작을 예시하는 개념적인 흐름도이다.
[0010] 도 6은, 프로세싱 시스템을 이용하는 제스처 인식 장치에 대한 하드웨어 구현의 일 예를 예시하는 도면이다.

[0011] 첨부된 도면들과 관련하여 아래에 기재되는 상세한 설명은, 다양한 구성들의 설명으로서 의도되며, 여기에 설명된 개념들이 실시될 수 있는 유일한 구성들만을 표현하도록 의도되지 않는다. 상세한 설명은 다양한 개념들의 철저한 이해를 제공하려는 목적을 위해 특정한 세부사항들을 포함한다. 그러나, 이들 개념들이 이들 특정한 세부사항들 없이도 실시될 수도 있다는 것은 당업자들에게 명백할 것이다. 몇몇 예시들에서, 그러한 개념들을 불명료하게 하는 것을 회피하기 위해, 잘 알려진 구조들 및 컴포넌트들은 블록도 형태로 도시되어 있다.

[0012] 제스처 인식 시스템의 몇몇 양상들이 다양한 장치 및 방법들을 참조하여 이제 제시될 것이다. 이들 장치 및 방법들은, 다음의 상세한 설명에서 설명될 것이며, 다양한 블록들, 모듈들, 컴포넌트들, 회로들, 단계들, 프로세스들, 알고리즘들 등(집합적으로 "엘리먼트들"로서 지칭됨)에 의해 첨부된 도면에 도시될 것이다. 이들 엘리먼트들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 임의의 결합을 사용하여 구현될 수도 있다. 그러한 엘리먼트들이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 특정 애플리케이션 및 전체 시스템에 대해 부과되는 설계 제약들에 의존한다.

[0013] 예로서, 엘리먼트, 또는 엘리먼트의 임의의 부분, 또는 엘리먼트들의 임의의 결합은 하나 또는 그 초과의 프로세서들을 포함하는 "프로세싱 시스템"을 이용하여 구현될 수도 있다. 프로세서들의 예들은 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서(DSP)들, 필드 프로그래머블 게이트 어레이(FPGA)들, 프로그래머블 로직 디바이스(PLD)들, 상태 머신들, 게이팅된 로직, 이산 하드웨어 회로들, 및 본 개시 전반에 걸쳐 설명된 다양한 기능을 수행하도록 구성된 다른 적절한 하드웨어를 포함한다. 프로세싱 시스템 내의 하나 또는 그 초과의 프로세서들은 소프트웨어를 실행할 수도 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션(description) 언어로 지칭되든지, 또는 이와 다르게 지칭되든지 간에, 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 모듈들, 애플리케이션들, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 오브젝트들, 실행가능한 것들, 실행 스레드들, 절차들, 함수들 등을 의미하도록 광범위하게 해석되어야 한다.

[0014] 따라서, 하나 또는 그 초과의 예시적인 실시예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 결합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터-판독가능 매체 상에 하나 또는 그 초과의 명령들 또는 코드로서 인코딩되거나 저장될 수도 있다. 컴퓨터-판독가능 매체들은 컴퓨터 저장 매체들을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 명세서에 사용되는 바와 같은, 디스크(disk) 및 디스크(disc)는 콤팩트 디스크(disc)(CD), 레이저 디스크(disc), 광학 디스크(disc), 디지털 다목적 디스크(disc)(DVD), 플로피 디스크(disk), 및 Blu-ray 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하는 반면에 디스크(disc)들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.

[0015] 도 1은, 사용자 디바이스(102) 및 제스처 인식 디바이스(104)를 포함하는 제스처 인식 시스템(100)을 예시하는 도면이다. 예시된 사용자 디바이스(102)는, 당업계에 알려져 있는 방법들을 사용하여 자신의 렌즈들을 통해 컨텐츠를 프로젝팅(project)하도록 구성되는 한 개의 AR 안경(a pair of AR glasses)이다. 예를 들어, AR 안경(102)은, 자신의 렌즈들을 통해 e-mail들, 문서들, 웹 페이지들, 또는 비디오 게임들, 영화들 또는 전자 책들과 같은 미디어 컨텐츠와 같은 애플리케이션 컨텐츠를 프로젝팅하도록 구성될 수도 있다. 다른 타입들의 사용자 디바이스들(102)은, 스마트폰들, 태블릿들, 랩톱들 등을 포함할 수도 있다.

[0016] AR 안경(102)은, 제스처 인식 디바이스(104)와 통신하기 위한 통신 디바이스(106)를 포함한다. 통신 디바이스(106)는, 예를 들어, Bluetooth 디바이스일 수도 있다. AR 안경(102)은, 제스처 인식 디바이스(104)로부터 수신되는 신호들을 프로세싱하기 위한 프로세서(108)를 더 포함한다.

[0017] 제스처 인식 디바이스(104)는 신체 부분과 연관되도록 구성되고, 그러한 연관을 제공하는데 도움이 되는 임의의 형태일 수도 있다. 예를 들어, 신체 부분이 손 또는 손가락이면, 제스처 인식 디바이스는 도 1에 예시된 바와 같이 손목밴드(104)로서 구성될 수도 있다. 일 구성에서, 제스처 인식 디바이스(104)는 근접 센서(110), EMG 감지 능력을 제공하는 전극들의 쌍(112, 114), 모션 센서(116), 및 사용자 디바이스(102)와 통신하기 위한 통신 디바이스(118)를 포함한다. 제스처 인식 디바이스(104)는, 다양한 센서들에 의해 제공되는 신호들을 프로세싱하기 위한 프로세서(120)를 또한 포함한다. 프로세서와 결합되어 있는 센서들(110, 112, 114, 116)은, 추가적으로 아래에 설명되는 바와 같은 검출 능력들을 제공한다.

[0018] 손목밴드 형태의 제스처 인식 디바이스(104)의 경우에서, 근접 센서(110)는 바람직하게는, 사용자가 손목밴드를 착용하는 경우, 근접 센서가 손목의 하단 또는 밑면에 로케이팅되도록 손목밴드 상에 포지셔닝된다. 근접 센서(110)는, 프로세서(120)에 의해 예컨대 매 초에 한 번 주기적으로 폴링(pole)되어 근접 센서와 구조물 사이의 근접도를 표시하는 신호들을 제공하는 저전력 디바이스이다. 근접 센서(110)는, 잘 알려져 있는 적외선 검출 또는 초음파 검출 기술에 기초한 레인지 측정(range finding) 디바이스일 수도 있다. 대안적으로 또는 부가적으로, 근접 센서(110)는, 잘 알려져 있는 정전식(capacitive) 기술에 기초한 터치 감지 디바이스일 수도 있다.

[0019] 전극들(112, 114)은 바람직하게는, 사용자가 손목밴드(104)를 착용하는 경우, 전극들이 손목의 근육 움직임(movement)으로부터 초래하는 전기적 활동을 감지하게 로케이팅되도록 손목밴드 상에 포지셔닝된다. 프로세서(120)의 EMG 감지 엘리먼트와 결합되어 있는 전극들(112, 114)은, 신체 부분과 표면 사이의 전위 접촉을 표시하는 신호들을 제공하는 EMG 센서로서 기능한다. EMG 감지 능력은 잘 알려져 있는 기술에 기초한다.

[0020] 모션 센서(116)는, 손목밴드 상의 어디에든지 포지셔닝될 수도 있으며, 신체 부분의 움직임을 표시하는 신호들을 제공한다. 제공된 표시들은, 제스처에 대응하는 신체 부분의 일반적인 전체 움직임 또는 신체 부분의 더 미세한 움직임 중 하나일 수도 있다. 모션 센서는, 예를 들어, 가속도계, 자이로스코프, 또는 자력계일 수도 있다.

[0021] 도 2는 신체 부분의 제스처를 검출하는 방법의 흐름도이다. 프로세스는, 공중에서의(through the air) 신체 움직임으로 인한 제스처 검출을 회피하면서, 일반적으로 편평한 표면 상에서의 제스처들을 검출하는 것을 지향한다. 그러한 목적을 위해, 단계(202)에서, 제스처 인식 디바이스는, 신체 부분이 일반적으로 편평한 표면에 근접해 있는지를 검출한다. 신체 부분은, 예를 들어 손가락일 수도 있다. 일반적으로 편평한 표면은, 예를 들어 테이블 상단 또는 사용자 다리의 상단일 수도 있다.

[0022] 근접 검출은, 추가적인 프로세싱 단계들을 위한 트리거 이벤트로서 기능하며, 공중에서의 신체 부분 움직임으로 인한 잘못된 제스처 검출을 제거한다. 근접 검출은, 위에 설명된 타입의 근접 센서를 사용하여 행해질 수도 있다. 일 구성에서, 제스처 인식 디바이스(104)의 프로세서(120)는, 예컨대 매 초에 한번 근접 센서(110)를 주기적으로 폴링하여 신호를 획득한다. 프로세서(120)는, 획득된 신호를 프로세싱하여 근접 센서(110)가 표면의 임계 거리 이내에 있는지를 결정한다. 예를 들어, 프로세서(120)는, 예컨대 5 센티미터의 근접 임계치로 프로그래밍될 수도 있다. 근접 센서(110)에 의해 제공된 신호가 임계치의 거리 또는 임계치 아래의 거리에 대응하면, 프로세서(120)는, 신체 부분이 표면에 근접해 있다고 판단한다. 즉, 제스처 인식 디바이스(104)는, 신체 부분과 표면 사이의 근접을 검출한다. 상술된 바와 같이, 이러한 근접 검출은, 공중에서의 손 움직임으로부터 초래할 수도 있는 잘못된 제스처 검출들을 제거한다.

[0023] 단계(204)에서, 신체 부분이 편평한 표면에 근접해 있지 않는 것으로 결정되면, 프로세스는 단계(202)로 돌아간다. 그러나, 신체 부분이 편평한 표면에 근접해 있는 것으로 결정되면, 프로세스는 단계(206)로 진행하며, 여기서, 제스처 인식 디바이스(104)는, 신체 부분과 표면 사이의 접촉을 표시하는 근육의 전기적 활동을 검출한다. 이것은, 상술된 EMG 센서를 사용하여 행해질 수도 있다. 일 구성에서, 시스템 전력을 보존하기 위해, EMG 센서(예를 들어, 프로세서(120)의 EMG 감지 엘리먼트 및 전극들(112, 114))는 신체 부분이 표면에 근접해 있는 것으로 결정될 때까지 슬립 모드(sleep mode)로 유지된다. 일단 신체-표면 근접이 검출되고 EMG 센서가 어웨이크닝(awake)되면, 프로세서(120)의 다른 엘리먼트들은, EMG 센서로부터 신호를 수신하고, 그 신호들을 표면 상에서의 신체 부분의 배치에 대응하는 전기적 활동의 기준과 비교한다. 기준이 충족되면, 프로세서(120)는 신체 부분이 표면 상에 배치되어 있다고 판단한다. 즉, 제스처 인식 디바이스(104)가 신체-표면 접촉을 검출한다.

[0024] 도 3은 시간의 함수로서 EMG 신호 진폭을 예시하는 그래프(300)이다. 저-레벨 부분들(302, 304)은, 신체 부분과 표면 사이의 접촉의 부재(lack)에 대응하는 근육 활동을 표현한다. 더 높은-레벨 부분(306)은, 신체 부분과 표면 사이의 접촉에 대응하는 더 높은 레벨의 근육 활동을 표현한다. 실험적인 EMG 신호 데이터에 기초하여, 신체 부분과 표면 사이의 접촉을 표시하는 기준들이 설정될 수도 있다. 예를 들어, 접촉 동안 측정된 실험적인 EMG 신호들의 다이나믹 레인지(dynamic range) 또는 피크-투-피크(peak-to-peak) 전압은, 이후 획득된 EMG 신호들의 측정치들과 비교될 수도 있는 기준으로서 기능한다. 프로세서(120)는, 획득된 신호의 측정치들을 실험적인 데이터에 의해 정의된 임계치에 비교한다. 임계치가 충족되면, 프로세서(120)는, 신체 부분과 표면 사이에 접촉이 존재한다고 판단한다. 즉, 제스처 인식 디바이스(104)가 신체-표면 접촉을 검출한다. 그렇지 않으면, 프로세서(120)는 어떠한 접촉도 존재하지 않는다고 판단한다. 선택적으로, 시간 기준이 또한 구현될 수도 있으며, 여기서, 획득된 신호의 측정치는, 신체-표면 접촉이 검출된 것으로 고려되는 특정한 시간의 양에 대한 임계치를 충족해야 한다.

[0025] 단계(208)에서, 신체 부분이 편평한 표면과 접촉해 있지 않은 것으로 결정되면, 프로세스는 단계(202)로 돌아간다. 대안적으로, 프로세스는 단계(206)로 돌아갈 수도 있다. 그러나, 신체 부분이 편평한 표면과 접촉해 있는 것으로 결정되면, 프로세스는 단계(210)로 진행하며, 여기서, 제스처 인식 디바이스는 제스처를 표시하는 신체 부분의 모션 활동을 검출한다. 이것은, 상술된 바와 같은 모션 센서(116)를 사용하여 행해질 수도 있다. 일 구성에서, 시스템 전력을 보존하기 위해, 모션 센서(116)는, 신체 부분이 표면과 접촉해 있는 것으로 결정될 때까지 슬립 모드로 유지된다. 일단 신체-표면 접촉이 검출되고 모션 센서(116)가 어웨이크닝되면, 프로세서(120)는, 모션 센서로부터 신호들을 수신하고, 그 신호들을 제스처에 대응하는 모션 활동의 기준과 비교한다. 기준이 충족되면, 프로세서(120)는, 신체 부분이 제스처를 행한다고 판단한다. 즉, 제스처 인식 디바이스(104)가 제스처를 검출한다.

[0026] 도 4는, 시간의 함수로서 모션 센서(예컨대, 가속도계) 신호들을 예시하는 그래프(500)이며, 여기서, 신호들은, 사용자가 편평한 표면 상에 문자 "O" 제스처를 두 번 행하는 것에 대응한다. 움직임은 x 평면 및 y 평면에서 발생하지만, 존재하지만 거의 없는 움직임이 z 평면에서 발생함을 유의한다. 이것은, 단지, 실험적으로 획득될 수도 있는 많은 모션 신호 형태들 또는 모션-제스처 견본(template)들 중 하나이다. 프로세서(120)는, 이들 제스처 견본들의 라이브러리(library)를 포함한다. 프로세서(120)는, 획득된 모션 센서 신호들을 모션-제스처 견본들의 라이브러리에 비교한다. 획득된 모션 신호의 형태가 모션-제스처 견본들 중 하나와 근접하게 매칭(match)하면, 프로세서(120)는, 신체 부분이, 매칭된 모션-제스처 견본과 연관된 제스처를 행한다고 판단한다. 즉, 제스처 인식 디바이스(104)가 제스처를 검출한다. 획득된 모션 신호들과 모션-제스처 견본들 사이의 근접도의 레벨은, 위에 설명된 기준을 정의한다. 예를 들어, 획득된 모션 신호 및 모션-제스처 견본의 포인트 별(point-by-point) 전압 비교들, 또는 파형 영역 비교는, 파형 사이의 퍼센티지 매치를 산출할 수도 있다. 이러한 경우에서, 기준은 예컨대 90%의 퍼센티지일 수도 있으며, 기준에 해당하는 또는 기준을 초과하는 산출된 퍼센티지는, 제스처 검출을 초래하는 것으로 고려될 수도 있다.

[0027] 단계(212)에서, 제스처가 검출되지 않으면, 프로세스는 단계(202)로 돌아간다. 대안적으로, 프로세스는, 단계(206) 또는 단계(210) 중 어느 하나로 돌아갈 수도 있다. 그러나, 제스처가 검출되면, 단계(214)에서, 신호가 사용자 디바이스(102)에 통신된다. 신호는, 검출된 제스처에 대응하는 디바이스(102)의 동작을 유발하기 위한 것이다. 일 구성에서, 제스처 인식 디바이스(104)의 프로세서(120)는, 제스처들의 검색(look-up) 테이블, 및 사용자 디바이스(102)에 송신하여 사용자 디바이스의 동작을 유발하기 위한 대응하는 출력 신호들을 포함한다. 예를 들어, 검출된 제스처가 문자 "O"이면, 인식 디바이스(104)는, 사용자 디바이스로 하여금 애플리케이션을 시작하게 하는 신호를 사용자 디바이스에 출력할 수도 있다. 다른 예로서, 표면 상에서의 손가락의 시계방향 움직임은, 사용자 디바이스로 하여금, 열려 있는 문서를 스크롤 다운(scroll down)하게 하는 신호를 인식 디바이스(104)가 출력하게 하는 것을 초래한다. 다른 구성에서, 검색 테이블은 사용자 디바이스에 상주할 수도 있으며, 이러한 경우에서, 인식 디바이스(104)는, 단순히 제스처 그 자체에 대응하는 신호를 통신하며, 사용자 디바이스(102)는 유발시킬 동작을 자신의 검색 테이블을 통해 결정한다. 상술된 바와 같이, 제스처 인식 디바이스(104)와 사용자 디바이스(102) 사이의 통신은 무선일 수도 있다.

[0028] 부가적인 선택 단계(도시되지 않음)로서, 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정하는 단계(단계 206) 이전에, 제스처 인식 디바이스(104)는 먼저 신체 부분이 임의의 타입의 모션을 나타내는지를 결정할 수도 있다. 이것은, 상술된 바와 같은 모션 센서(116)를 사용하여 행해질 수도 있다. 프로세서(120)는, 모션 센서(116)로부터 신호들을 수신하고, 그 신호들을 일반적인 모션 활동의 기준과 비교한다. 기준이 충족되면, 프로세서(120)는 신체 부분이 움직인다고 판단하며, 프로세스는 단계(206)로 진행한다. 즉, 제스처 인식 디바이스(104)는 신체 부분에 의한 일반적인 모션을 검출한다. 이와 관련한 기준은, 모션-제스처 견본과 매칭될 필요가 없이 단순히 임의의 방향으로의 특정한 움직임의 레벨과 관련될 수도 있다.

[0029] 이러한 초기의 일반적인 모션 감지는, 계산 집중적인 EMG 센서 프로세싱 및 모션-제스처 견본 매치 프로세싱이 보증되지 않는 경우들에서 그들을 제거할 수도 있다는 점이 유익하다. 예를 들어, 사용자의 손이 어떠한 움직임도 없이 표면 상에 멈춰 있으면, 제스처 인식 디바이스(104)는 신체-표면 근접을 검출할 것이다. 제스처 인식 디바이스(104)에 의한 다음 단계의 EMG 감지는 신체-표면 접촉을 검출할 것이다. 그러나, 후속 단계인 모션-견본 매칭은, 손이 멈춰 있는 경우, 어떠한 모션-견본 매치도 초래하지 않을 것이다. 신체-표면 접촉 및 모션-견본 매치를 검출하기에 앞서 신체 부분의 일반적인 모션을 검출하는 것은, 이들 프로세싱 단계들의 필요성을 배제할 것이다.

[0030] 도 5는, 일 예시적인 제스처 검출 장치(502)의 상이한 모듈들/수단들/컴포넌트들의 동작을 예시하는 개념적인 흐름도(500)이다. 장치(502)는, 신체-표면 근접 검출 모듈(504), 선택적 신체 모션 검출 모듈(506), 신체-표면 접촉 검출 모듈(508), 제스처 검출 모듈(510), 및 통신 모듈(512)을 포함한다. 신체-표면 근접 검출 모듈(504)은, 신체 부분이 표면과 근접해 있는지를 결정한다. 신체 모션 검출 모듈(506)은, 신체 부분이 모션 중인지를 결정한다. 신체-표면 접촉 검출 모듈(508)은, 신체 부분으로부터 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정한다. 제스처 검출 모듈(510)은, 신체 부분으로부터 감지된 모션 활동이 제스처를 표시하는지를 결정한다. 통신 모듈(510)은, 사용자 디바이스의 동작을 유발하는 신호들을 사용자 디바이스에 통신한다.

[0031] 장치는, 도 2의 전술된 흐름도에서의 알고리즘의 단계들 각각을 수행하는 부가적인 모듈들을 포함할 수도 있다. 그로써, 도 2의 전술된 흐름도에서의 각각의 단계는 모듈에 의해 수행될 수도 있으며, 장치는 그 모듈들 중 하나 또는 그 초과를 포함할 수도 있다. 모듈들은, 언급된 프로세스들/알고리즘을 수행하도록 특정하게 구성되는 하나 또는 그 초과의 하드웨어 컴포넌트들이거나, 언급된 프로세스들/알고리즘을 수행하도록 구성되는 프로세서에 의해 구현되거나, 프로세서에 의한 구현을 위해 컴퓨터-판독가능 매체 내에 저장되거나, 또는 이들의 몇몇 결합일 수도 있다.

[0032] 도 6은 프로세싱 시스템(614)을 이용하는 장치(502')에 대한 하드웨어 구현의 예를 예시하는 도면(600)이다. 프로세싱 시스템(614)은, 일반적으로 버스(624)에 의해 표현되는 버스 아키텍처를 이용하여 구현될 수도 있다. 버스(624)는, 프로세싱 시스템(614)의 특정한 애플리케이션 및 전체 설계 제약들에 의존하여 임의의 개수의 상호접속 버스들 및 브리지(bridge)들을 포함할 수도 있다. 버스(624)는, 프로세서(604), 모듈들(504, 506, 508, 510, 512), 및 컴퓨터-판독가능 매체(606)에 의해 표현되는 하나 또는 그 초과의 프로세서들 및/또는 하드웨어 모듈들을 포함하는 다양한 회로들을 함께 링크시킨다. 또한, 버스(624)는, 타이밍 소스들, 주변기기들, 전압 조정기들, 및 전력 관리 회로들과 같은 다양한 다른 회로들을 링크시킬 수도 있으며, 이들은 당업계에 잘 알려져 있고, 따라서 더 추가적으로 설명되지 않을 것이다.

[0033] 프로세싱 시스템(614)은, 컴퓨터-판독가능 매체(606)에 커플링되는 프로세서(604)를 포함한다. 프로세서(604)는, 컴퓨터-판독가능 매체(606) 상에 저장된 소프트웨어의 실행을 포함하는 일반적인 프로세싱을 담당한다. 소프트웨어는, 프로세서(604)에 의해 실행되는 경우, 프로세싱 시스템(614)으로 하여금 임의의 특정한 장치에 대해 상술된 다양한 기능들을 수행하게 한다. 컴퓨터-판독가능 매체(606)는, 소프트웨어를 실행할 경우 프로세서(604)에 의해 조작되는 데이터를 저장하기 위해 또한 사용될 수도 있다. 프로세싱 시스템은, 모듈들(504, 506, 508, 510, 512) 중 적어도 하나를 추가적으로 포함한다. 모듈들은, 프로세서(604)에서 구동하고 컴퓨터 판독가능 매체(606)에 상주하는/저장되는 소프트웨어 모듈들, 프로세서(604)에 커플링된 하나 또는 그 초과의 하드웨어 모듈들, 또는 그들의 몇몇 결합일 수도 있다.

[0034] 일 구성에서, 장치(502/502')는, 신체 부분이 표면에 근접해 있는지를 결정하기 위한 수단, 신체 부분이 표면에 근접해 있는 경우, 신체 부분으로부터 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정하기 위한 수단, 신체 부분이 표면과 접촉해 있는 경우, 신체 부분으로부터 감지된 모션 활동이 제스처를 표시하는지를 결정하기 위한 수단을 포함한다. 장치(502/502')는, 감지된 전기적 활동이 신체 부분과 표면 사이의 접촉을 표시하는지를 결정하기에 앞서, 신체 부분이 모션 중인지를 결정하기 위한 수단, 제스처를 검출하는 것에 응답하여 사용자 디바이스에 신호를 통신하기 위한 수단을 더 포함할 수도 있으며, 그 신호는 사용자 디바이스의 동작을 유발하기 위한 것이다. 전술된 수단은, 전술된 수단에 의해 인용되는 기능들을 수행하도록 구성되는 장치(502) 및/또는 장치(502')의 프로세싱 시스템(614)의 전술된 모듈들 중 하나 또는 그 초과일 수도 있다.

[0035] 기재된 프로세스들 내의 단계들의 특정한 순서 또는 계층이 예시적인 접근법들의 예시임을 이해한다. 설계 선호도들에 기초하여, 프로세스들 내의 단계들의 특정한 순서 또는 계층이 재배열될 수도 있음을 이해한다. 추가적으로, 몇몇 단계들은 결합되거나 생략될 수도 있다. 첨부한 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제시하며, 제시된 특정한 순서 또는 계층으로 제한되도록 의도되지는 않는다.

[0036] 이전의 설명은 임의의 당업자가 본 명세서에 설명된 다양한 양상들을 실시할 수 있도록 제공된다. 이들 양상들에 대한 다양한 변형들은 당업자들에게는 용이하게 명백할 것이며, 본 명세서에 정의된 일반적인 원리들은 다른 양상들에 적용될 수도 있다. 따라서, 청구항들은 본 명세서에 나타낸 양상들로 제한되도록 의도되는 것이 아니라, 청구항들의 문언에 부합하는 최대 범위를 부여하려는 것이며, 여기서, 단수형의 엘리먼트에 대한 참조는 "하나 및 오직 하나"라고 구체적으로 명시되지 않으면, "하나 및 오직 하나"를 의미하기보다는 오히려 "하나 또는 그 초과"를 의미하도록 의도된다. 구체적으로 달리 명시되지 않으면, 용어 "몇몇"은 하나 또는 그 초과를 지칭한다. 당업자들에게 알려져 있거나 추후에 알려지게 될 본 개시 전반에 걸쳐 설명된 다양한 양상들의 엘리먼트들에 대한 모든 구조적 및 기능적 등가물들은, 인용에 의해 본 명세서에 명백히 포함되고, 청구항들에 의해 포함되도록 의도된다. 또한, 본 명세서에 기재된 어떠한 것도, 청구항들에 그러한 개시가 명시적으로 인용되어 있는지 여부와 관계없이, 공중이 사용하도록 의도되는 것은 아니다. 어떤 청구항 엘리먼트도, 그 엘리먼트가 어구 "하기 위한 수단"을 사용하여 명시적으로 언급되지 않는 한, 수단 + 기능(means plus function)으로서 해석되지 않을 것이다.

Claims

표면에 대한 신체(body) 부분의 제스처(gesture)를 검출하는 방법으로서,
근접 센서에 의해 제공되는 신호들에 기초하여 상기 신체 부분이 상기 표면에 근접해 있는지를 결정하는 단계 ― 상기 신체 부분과 연관된 상기 근접 센서로부터의 신호들은 모니터링됨 ―;
상기 신체 부분이 상기 표면에 근접해 있는 경우, EMG(electromyography) 센서에 의해 상기 신체 부분으로부터 감지된 근육 전기 활동이 상기 신체 부분과 상기 표면 사이의 접촉을 표시하는지를 결정하는 단계 ― 상기 근접 센서로부터의 하나 이상의 신호들에 응답하여, 상기 EMG 센서의 상태가 더 낮은 전력 상태로부터 활성 상태에 대응하는 더 높은 전력 상태로 변화되고, 그리고 상기 EMG 센서로부터의 출력은 상기 신체 부분과 상기 표면 사이의 접촉을 결정하기 위해 모니터링됨 ―; 및
상기 신체 부분이 상기 표면과 접촉해 있는 경우, 상기 신체 부분으로부터 감지된 모션(motion) 활동이 상기 제스처를 표시하는지를 결정하는 단계를 포함하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 1 항에 있어서,
상기 감지된 근육 전기 활동이 상기 신체 부분과 상기 표면 사이의 접촉을 표시하는지를 결정하는 단계는,
상기 신체 부분으로부터 감지된 상기 근육 전기 활동을 표면 상에서의 상기 신체 부분의 배치에 대응하는 전기 활동의 기준에 비교하는 단계; 및
상기 기준이 충족되는 경우, 상기 신체 부분이 상기 표면과 접촉해 있다고 판단하는 단계를 포함하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 1 항에 있어서,
상기 감지된 모션 활동이 상기 제스처를 표시하는지를 결정하는 단계는,
상기 신체 부분으로부터 감지된 상기 모션 활동을 상기 제스처에 대응하는 모션 활동의 기준에 비교하는 단계; 및
상기 기준이 충족되는 경우, 상기 신체 부분이 상기 제스처를 행한다고 판단하는 단계를 포함하고,
상기 방법은 제스처 기준들의 라이브러리(library)를 제공하는 단계를 더 포함하며,
각각의 기준은 상이한 제스처에 대응하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 1 항에 있어서,
상기 감지된 근육 전기 활동이 상기 신체 부분과 표면 사이의 접촉을 표시하는지를 결정하는 단계에 앞서, 상기 신체 부분이 모션 중인지를 결정하는 단계를 더 포함하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 4 항에 있어서,
상기 신체 부분이 모션 중인지를 결정하는 단계는,
상기 신체 부분으로부터 감지된 모션 활동을 모션에 대응하는 모션 활동의 기준에 비교하는 단계; 및
상기 기준이 충족되는 경우, 상기 신체 부분이 모션 중이라고 판단하는 단계를 포함하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 1 항에 있어서,
상기 제스처를 검출하는 것에 응답하여, 사용자 디바이스에 신호를 통신하는 단계를 더 포함하며,
상기 통신하는 신호는 상기 사용자 디바이스의 동작을 유발하기 위한 것인, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
제 1 항에 있어서,
상기 신체 부분이 상기 표면과 접촉해 있는 경우, 상기 신체 부분으로부터 감지된 모션 활동이 상기 제스처를 표시하는지를 결정하는 단계는,
상기 EMG 센서로부터의 하나 이상의 신호들에 응답하여, 모션 센서의 상태를 더 낮은 전력 상태로부터 활성 상태에 대응하는 더 높은 전력 상태로 변화시키는 단계; 및
제스처를 표시하는 상기 신체 부분의 모션을 결정하기 위해 상기 신체 부분과 연관된 모션 센서로부터 모션 활동을 모니터링하는 단계를 포함하는, 표면에 대한 신체 부분의 제스처를 검출하는 방법.
표면에 대한 신체 부분의 제스처를 검출하기 위한 장치로서,
근접 센서에 의해 제공되는 신호들에 기초하여 상기 신체 부분이 상기 표면에 근접해 있는지를 결정하기 위한 수단 ― 상기 신체 부분이 상기 표면에 근접해 있는지를 결정하기 위한 수단은 상기 신체 부분과 연관된 상기 근접 센서로부터의 신호들을 모니터링하도록 구성됨 ―;
상기 신체 부분이 상기 표면에 근접해 있는 경우, EMG(electromyography) 센서에 의해 상기 신체 부분으로부터 감지된 근육 전기 활동이 상기 신체 부분과 상기 표면 사이의 접촉을 표시하는지를 결정하기 위한 수단 ― 상기 접촉을 표시하는지를 결정하기 위한 수단은, 상기 근접 센서로부터의 하나 이상의 신호들에 응답하여, 상기 EMG 센서의 상태를 더 낮은 전력 상태로부터 활성 상태에 대응하는 더 높은 전력 상태로 변화시키기 위한 수단, 및 상기 신체 부분과 상기 표면 사이의 접촉을 결정하기 위해 상기 EMG 센서로부터의 출력을 모니터링하기 위한 수단을 포함함 ―; 및
상기 신체 부분이 상기 표면과 접촉해 있는 경우, 상기 신체 부분으로부터 감지된 모션 활동이 상기 제스처를 표시하는지를 결정하기 위한 수단을 포함하는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 8 항에 있어서,
상기 감지된 근육 전기 활동이 상기 신체 부분과 상기 표면 사이의 접촉을 표시하는지를 결정하기 위한 수단은,
상기 신체 부분으로부터 감지된 상기 근육 전기 활동을 표면 상에서의 상기 신체 부분의 배치에 대응하는 전기 활동의 기준에 비교하고; 그리고
상기 기준이 충족되는 경우, 상기 신체 부분이 상기 표면과 접촉해 있다고 판단하도록 구성되는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 8 항에 있어서,
상기 감지된 모션 활동이 상기 제스처를 표시하는지를 결정하기 위한 수단은,
상기 신체 부분으로부터 감지된 상기 모션 활동을 상기 제스처에 대응하는 모션 활동의 기준에 비교하고;
상기 기준이 충족되는 경우, 상기 신체 부분이 상기 제스처를 행한다고 판단하도록 구성되고,
상기 장치는, 제스처 기준들의 라이브러리를 더 포함하며,
각각의 기준은 상이한 제스처에 대응하는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 8 항에 있어서,
상기 감지된 근육 전기 활동이 상기 신체 부분과 표면 사이의 접촉을 표시하는지를 결정하기에 앞서, 상기 신체 부분이 모션 중인지를 결정하기 위한 수단을 더 포함하는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 11 항에 있어서,
상기 신체 부분이 모션 중인지를 결정하기 위한 수단은,
상기 신체 부분으로부터 감지된 모션 활동을 모션에 대응하는 모션 활동의 기준에 비교하고; 그리고
상기 기준이 충족되는 경우, 상기 신체 부분이 모션 중이라고 판단하도록 구성되는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 8 항에 있어서,
상기 제스처를 검출하는 것에 응답하여, 사용자 디바이스에 신호를 통신하기 위한 수단을 더 포함하며,
상기 통신하기 위한 신호는 상기 사용자 디바이스의 동작을 유발하기 위한 것인, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
제 8 항에 있어서,
상기 신체 부분이 상기 표면과 접촉해 있는 경우, 상기 신체 부분으로부터 감지된 모션 활동이 상기 제스처를 표시하는지를 결정하기 위한 수단은,
상기 EMG 센서로부터의 하나 이상의 신호들에 응답하여, 모션 센서의 상태를 더 낮은 전력 상태로부터 활성 상태에 대응하는 더 높은 전력 상태로 변화시키기 위한 수단; 및
제스처를 표시하는 상기 신체 부분의 모션을 결정하기 위해 상기 신체 부분과 연관된 모션 센서로부터 모션 활동을 모니터링하기 위한 수단을 포함하는, 표면에 대한 신체 부분의 제스처를 검출하기 위한 장치.
표면에 대한 신체 부분의 제스처를 검출하기 위한 컴퓨터-판독가능 저장 매체로서,
상기 컴퓨터-판독가능 저장 매체는, 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 실행하기 위한 코드를 포함하는, 컴퓨터-판독가능 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제