KR20170012422A

KR20170012422A - 레이더-기반 제스처 인식

Info

Publication number: KR20170012422A
Application number: KR1020167036396A
Authority: KR
Inventors: 이반 포우피레프
Original assignee: 구글 인코포레이티드
Priority date: 2014-08-07
Filing date: 2015-08-06
Publication date: 2017-02-02
Also published as: JP2017524170A; WO2016022764A1; CN106537173B; CN106537173A; US20160041617A1; KR101914850B1; JP6364505B2; US9921660B2; DE112015003655T5

Abstract

이 문서는 레이더-기반 제스처 인식을 사용하는 기법들 및 레이더-기반 제스처 인식을 구현하는 디바이스들을 기술한다. 이러한 기법들 및 디바이스들은, 소프트웨어 애플리케이션들에서 냉장고에 이르기까지의, 컴퓨팅 디바이스 및 비-컴퓨팅 디바이스를 사용하고, 제어하고, 이와 상호작용하기 위한 제스처들과 같은, 광범위한 제스처들 및 그 제스처들에 대한 사용들을 가능하게 할 수 있다. 기법들 및 디바이스들은 한 번에 다수의 액터들로부터 그리고 장애물들을 통해 제스처들을 감지할 수 있는 레이더 필드를 제공할 수 있고, 이에 의해 많은 종래의 기법들에 비해 제스처 폭 및 정확성을 개선할 수 있다.

Description

레이더-기반 제스처 인식{RADAR-BASED GESTURE RECOGNITION}

발명자

Ivan Poupyrev

우선권 출원

이 출원은, "Radar-Based Gesture Recognition"라는 명칭으로 2014년 8월 7일에 출원되었으며 그 개시내용이 본원에 참조에 의해 전체적으로 포함되는, 미국 가특허 출원 제62/034,581호를 35 U.S.C. § 119(e) 조항 하에서 우선권 주장한다.

컴퓨팅 디바이스들과 상호작용하기 위한 제스처들의 사용은 점점 더 일반화되고 있다. 제스처 인식 기법들은, 이러한 제스처들이 폰들 및 태블릿들에 대한 터치 스크린들 및 데스크톱 컴퓨터들에 대한 터치 패드들과 같은 디바이스 표면들에 대해 취해질 때 디바이스들과의 제스처 상호작용을 성공적으로 가능하게 한다. 그러나, 사용자들은, 사람이 비디오 게임을 제어하기 위해 팔을 흔드는 것과 같이, 표면에 대해 취해지지 않은 제스처들을 통해 자신의 디바이스들과 상호작용 하기를 더욱 빈번하게 원한다. 이러한 허공(in-the-air) 제스처들을 현재의 제스처-인식 기법들이 정확하게 인식하기가 어렵다.

이 문서는 레이더-기반 제스처 인식에 대한 기법들 및 디바이스들을 기술한다. 이러한 기법들 및 디바이스들은 허공 제스처들과 같은, 3차원에서 취해지는 제스처들을 정확하게 인식할 수 있다. 이러한 허공 제스처들은 가변 거리들을 두고, 예컨대, 소파에 앉아 텔레비전을 제어하는 사람, 주방에 서서 오븐 또는 냉장고를 제어하는 사람으로부터, 또는 데스크톱 컴퓨터의 디스플레이로부터 밀리미터로 취해질 수 있다.

또한, 기술된 기법들은 레이더 필드를 사용하여 제스처들을 감지할 수 있는데, 이는 의복과 피부 사이를 구별하고, 제스처들을 방해하는 물체들을 투과하고, 상이한 액터들을 식별함으로써 정확성을 개선할 수 있다.

이 요약은 레이더-기반 제스처 인식에 관련된 간략화된 개념들을 소개하기 위해 제공되며, 이는 상세한 설명에서 하기에 추가로 기술된다. 이 요약은 청구되는 발명 대상의 본질적 특징들을 식별하도록 의도되지도 않고, 청구되는 발명 대상의 범위를 결정하는데 사용하기 위한 것으로도 의도되지 않는다.

레이더-기반 제스처 인식에 대한 기법들 및 디바이스들의 실시예들이 후속하는 도면들을 참조하여 기술된다. 동일한 번호들은 동일한 특징들 및 컴포넌트들을 참조하기 위해 도면들 전반에 걸쳐 사용된다.
도 1은 레이더-기반 제스처 인식이 구현될 수 있는 예시적인 환경을 예시한다.
도 2는 도 1의 레이더-기반 제스처-인식 시스템 및 컴퓨팅 디바이스를 상세하게 예시한다.
도 3은 레이더 필드 내의 액터의 신원을 결정함에 의한 것을 포함하여, 레이더-기반 제스처 인식을 가능하게 하는 예시적인 방법을 예시한다.
도 4는 레이더 필드 내의 예시적인 레이더 필드 및 3명의 사람을 예시한다.
도 5는 직물을 투과하지만 인체 조직으로부터 반사되도록 구성되는 레이더 필드를 통한 레이더-기반 제스처 인식을 가능하게 하는 예시적인 방법을 예시한다.
도 6은 레이더-기반 제스처-인식 시스템, 텔레비전, 레이더 필드, 2명의 사람들, 및 소파, 램프 및 신문을 포함한 다양한 장애물들을 예시한다.
도 7은 3개의 위치들에 있는 그리고 셔츠 소매에 의해 가려진 예시적인 팔을 예시한다.
도 8은 레이더-기반 제스처 인식을 구현하는, 또는 레이더-기반 제스처 인식의 사용을 가능하게 하는 기법들이 실행될 수 있는, 예시적인 컴퓨팅 시스템을 예시한다.

개요

이 문서는 레이더-기반 제스처 인식을 사용하는 기법들 및 레이더-기반 제스처 인식을 구현하는 디바이스들을 기술한다. 이러한 기법들 및 디바이스들은 데스크톱들부터 냉장고들까지의 다양한 디바이스들을 사용하고, 제어하고 이와 상호작용하기 위한 제스처들과 같은, 광범위한 제스처들 및 해당 제스처들의 사용을 가능하게 할 수 있다. 기법들 및 디바이스들은 한 번에 다수의 액터들로부터 그리고 장애물들을 통해 제스처들을 감지할 수 있는 레이더 필드를 제공할 수 있고, 이에 의해 많은 종래의 기법들에 비해 제스처 폭 및 정확성을 개선할 수 있다.

이 문서는 이제 예시적인 환경을 참조하며, 그 후 예시적인 레이더-기반 제스처-인식 시스템들 및 레이더 필드들, 예시적인 방법들, 및 예시적인 컴퓨팅 시스템이 기술된다.

예시적인 환경

도 1은 레이더-기반 제스처-인식 시스템을 사용하는 기법들 및 레이더-기반 제스처-인식 시스템을 포함하는 장치가 구현될 수 있는 예시적인 환경(100)의 예시이다. 환경(100)은 레이더-기반 제스처-인식 시스템(102)을 사용하기 위한 2개의 예시적인 디바이스들 및 방식을 포함하는데, 첫째, 레이더-기반 제스처-인식 시스템(102-1)은 근접 레이더 필드를 제공하여 컴퓨팅 디바이스들(104) 중 하나인 데스크톱 컴퓨터(104-1)와 상호작용하고, 둘째, 레이더-기반 제스처-인식 시스템(102-2)은 중간 레이더 필드(예를 들어, 방 크기)를 제공하여 텔레비전(104-2)과 상호작용한다. 이러한 레이더-기반 제스처-인식 시스템들(102-1 및 102-2)은 레이더 필드들(106)인 근접 레이더 필드(106-1) 및 중간 레이더 필드(106-2)를 제공하고, 하기에 기술된다.

데스크톱 컴퓨터(104-1)는 레이더-기반 제스처-인식 시스템(102-1)을 포함하거나 또는 레이더-기반 제스처-인식 시스템(102-1)과 연관된다. 이러한 디바이스는 함께 작용하여 데스크톱 컴퓨터(104-1)와의 사용자 상호작용을 개선한다. 예를 들어, 데스크톱 컴퓨터(104-1)가 디스플레이 및 사용자 상호작용이 수행될 수 있는 터치 스크린(108)을 포함한다고 가정한다. 이러한 터치 스크린(108)은 사람이 스크린을 터치할 수 있도록 수직 및 전방과 같은 특정 배향으로 앉아 있도록 요구하는 것과 같은 일부 도전과제들을 사용자들에게 제시할 수 있다. 또한, 터치 스크린(108)을 통해 제어들을 선택하기 위한 크기는 일부 사용자들에게 상호작용을 어렵고 시간-소모적이도록 할 수 있다. 그러나, 예컨대, 사용자의 손들이 한 손 또는 두 손을 이용한 제스처들을 포함한, 그리고 3차원으로, 작은 또는 큰, 단순한 또는 복잡한 제스처들을 통해, 데스크톱 컴퓨터(104-1)와 상호작용할 수 있게 하는 근접 레이더 필드(106-1)를 제공하는, 레이더-기반 제스처-인식 시스템(102-1)을 고려한다. 자명한 바와 같이, 사용자가 선택들을 수행할 수 있는 큰 볼륨은 터치 스크린(108)의 표면과 같은 평탄한 표면보다 실질적으로 더 용이할 수 있고, 더 양호한 경험을 제공할 수 있다.

유사하게, 사용자가 손 제스처들로부터, 팔 제스처들로, 온몸 제스처들(full-body gestures)에 이르기까지의 다양한 제스처를 통해 거리를 두고 텔레비전(104-2)과 상호작용할 수 있게 하는, 중간 레이더 필드(106-2)를 제공하는 레이더-기반 제스처-인식 시스템(102-2)을 고려한다. 그렇게 함으로써, 사용자 선택들은 평탄한 표면(예를 들어, 터치 스크린(108)), 원격 제어(예를 들어, 게임 또는 텔레비전 원격), 및 다른 종래의 제어 메커니즘들보다 더 간단하고 더 쉽게 이루어질 수 있다.

레이더-기반 제스처-인식 시스템들(102)은 컴퓨팅 디바이스들(104)의 애플리케이션들 또는 운영 체제와, 또는 제스처들을 인식하는 것에 응답하여 입력을 전송함으로써 통신 네트워크를 통해 원격으로 상호작용할 수 있다. 제스처들은 다양한 애플리케이션들 및 디바이스들에 매핑되고, 이에 의해 많은 디바이스들 및 애플리케이션들의 제어를 가능하게 할 수 있다. 많은 복잡한 그리고 고유한 제스처들이 레이더-기반 제스처-인식 시스템들(102)에 의해 인식되고, 이에 의해 정확한 그리고/또는 단일-제스처 제어를, 심지어 다수의 애플리케이션들에 대해 허용할 수 있다. 레이더-기반 제스처-인식 시스템들(102)은, 컴퓨팅 디바이스와 통합되든, 컴퓨팅 성능들을 가지든, 또는 적은 컴퓨팅 능력들을 가지든 간에, 각각이 다양한 디바이스들 및 애플리케이션들과 상호작용하도록 사용될 수 있다.

더 상세하게, 컴퓨팅 디바이스(104) 중 하나의 부분으로서 레이더-기반 제스처-인식 시스템(102)을 예시하는 도 2를 고려한다. 컴퓨팅 디바이스(104)가 다양한 비-제한적인 예시적인 디바이스들인, 주지된 데스크톱 컴퓨터(104-1), 텔레비전(104-2), 뿐만 아니라 태블릿(104-3), 랩톱(104-4), 냉장고(104-5) 및 전자레인지(104-6)를 이용하여 예시되지만, 홈 자동화 및 제어 시스템들, 엔터테인먼트 시스템들, 오디오 시스템들, 다른 가전 기기들, 보안 시스템들, 넷북들, 스마트폰들, 및 e-리더기들과 같은 다른 디바이스들이 또한 사용될 수 있다. 컴퓨팅 디바이스(104)가 웨어러블, 웨어러블하지는 않지만 이동식, 또는 상대적으로 비이동식(예를 들어, 데스크톱들 및 가전기기들)일 수 있다는 것에 유의한다.

레이더-기반 제스처-인식 시스템(102)이, 가전 기기들 및 시스템들(예를 들어, 자동 제어 패널)을 제어하기 위해 집의 벽들 내에, 내부 기능들(예를 들어, 볼륨, 크루즈 제어, 또는 심지어 차의 주행)을 제어하기 위해 자동차들 내에, 또는 랩톱의 컴퓨팅 애플리케이션들을 제어하기 위해 랩톱 컴퓨터에 대한 연결로서와 같이, 많은 상이한 컴퓨팅 디바이스들 또는 주변장치들과 함께 사용되거나, 또는 이들 내에 내장될 수 있다.

또한, 레이더 필드(106)는 비가시적이며 섬유와 같은 일부 재료들을 투과할 수 있고, 이에 의해, 레이더-기반 제스처-인식 시스템(102)이 사용되고 구현될 수 있는 방법을 추가로 확장할 수 있다. 본원에 도시된 예들이 디바이스 당 하나의 레이더-기반 제스처-인식 시스템(102)을 도시하지만, 다수가 사용될 수 있으며, 이에 의해, 제스처들의 수 및 복잡도, 뿐만 아니라 정확성 및 강건한 인식을 증가시킬 수 있다.

컴퓨팅 디바이스(104)가 하나 이상의 컴퓨터 프로세서들(202) 및 컴퓨터-판독가능한 매체(204)를 포함하며, 이는 메모리 매체 및 저장 매체를 포함한다. 컴퓨터-판독가능 매체(204) 상에 컴퓨터-판독가능 명령들로서 내장되는 애플리케이션들 및/또는 운영 체제(미도시됨)는 프로세서들(202)에 의해 실행되어 본원에 기술된 기능성들 중 일부를 제공할 수 있다. 컴퓨터-판독가능 매체(204)는 제스처 매니저(206)(하기에 기술됨)를 또한 포함한다.

컴퓨팅 디바이스(104)는 유선, 무선 또는 광학 네트워크들을 통해 데이터를 통신하기 위한 네트워크 인터페이스들(208) 및 디스플레이(210)를 또한 포함할 수 있다. 제한이 아닌 예시에 의해, 네트워크 인터페이스(208)는 로컬-영역-네트워크(LAN), 무선 로컬-영역-네트워크(WLAN), 개인-영역-네트워크(PAN), 광역-네트워크(WAN), 인트라넷, 인터넷, 피어-투-피어 네트워크, 점-대-점 네트워크, 망 네트워크 등을 통해 데이터를 통신할 수 있다.

레이더-기반 제스처-인식 시스템(102)은, 위에서 주지된 바와 같이, 제스처들을 감지하도록 구성된다. 이를 가능하게 하기 위해, 레이더-기반 제스처-인식 시스템(102)은 레이더-방출 엘리먼트(212), 안테나 엘리먼트(214) 및 신호 프로세서(216)를 포함한다.

일반적으로, 레이더-방출 엘리먼트(212)는 레이더 필드를 제공하도록 구성되는데, 일부 경우들에서, 직물 또는 다른 장애물들을 투과하고 인체 조직으로부터 반사하도록 구성되는 것을 제공하도록 구성된다. 이러한 직물들 또는 장애물들은 나무, 유리, 플라스틱, 면, 울, 나일론 및 유사한 섬유들 등을 포함하는 한편, 사람의 손과 같은 인체 조직들로부터 반사할 수 있다.

이러한 레이더 필드는 제로 또는 1 또는 비슷한(so) 밀리미터 내지 1.5 미터와 같은 작은 크기, 또는 약 1 내지 약 30 미터와 같은 중간 크기일 수 있다. 중간 크기에서, 안테나 엘리먼트(214) 또는 신호 프로세서(216)는 레이더 필드의 반사들을 수신하고 처리하여 몸, 팔, 또는 다리 움직임들에 의해 야기되는 인체 조직으로부터의 반사들에 기초하여 큰-몸 제스처들을 제공하도록 구성되지만, 더 작은 그리고 더 정확한 제스처들 역시 감지될 수 있다. 예시적인 중간-크기 레이더 필드들은, 사용자가 소파에서 텔레비전을 제어하고, 방에 걸쳐 스테레오로부터의 노래 또는 볼륨을 변경시키고, 오븐 또는 오븐 타이머를 끄고(근접 필드가 또한 여기서 유용할 것임), 방 내 조명들을 켜거나 끄는 것 등을 수행하기 위한 제스처들을 취하는 필드들을 포함한다.

레이더-방출 엘리먼트(212)는 대신에, 컴퓨팅 디바이스 또는 그것의 디스플레이로부터 있다 해도 매우 적은 거리를 두고 레이더 필드를 제공하도록 구성될 수 있다. 예시적인 근접 필드는 도 1에서 근접 레이더 필드(106-1)로 예시되어 있고, 랩톱, 데스크톱, 냉장고 물 디스펜서, 및 디바이스 근처에서 제스처들이 취해지도록 요구되는 다른 디바이스들을 사용하여 사용자에 의해 취해지는 제스처들을 감지하도록 구성된다.

레이더-방출 엘리먼트(212)는 연속적으로 변조된 복사, 초광대역 복사, 또는 서브-밀리미터-주파수 복사를 방출하도록 구성될 수 있다. 레이더-방출 엘리먼트(212)는, 일부 경우들에서, 복사를 빔들로 형성하도록 구성되고, 빔들은, 안테나 엘리먼트(214) 및 신호 프로세서(216)가 빔들 중 어느 것이 방해받는지를, 그리고 따라서 레이더 필드 내의 상호작용들의 위치들을 결정하는 것을 보조한다.

안테나 엘리먼트(214)는 레이더 필드의 반사들을 수신하도록, 또는 레이더 필드 내의 상호작용들을 감지하도록 구성된다. 일부 경우들에서, 반사들은 손 또는 팔 움직임과 같이, 레이더 필드 내에 있는 인체 조직으로부터의 반사들을 포함한다. 안테나 엘리먼트(214)는 복사 센서들의 어레이와 같은 하나 또는 다수의 안테나들 또는 센서들을 포함할 수 있고, 어레이 내의 수는 원하는 분해능 및 필드가 표면인지 또는 볼륨인지의 여부에 기초한다.

신호 프로세서(216)는 레이더 필드 내의 수신된 반사들을 처리하여 제스처를 결정하는데 사용가능한 제스처 데이터를 제공하도록 구성된다. 안테나 엘리먼트(214)는, 일부 경우들에서, 레이더 필드 내에 있는 다수의 인체 타겟들로부터 반사들을 수신하도록 구성될 수 있고, 신호 프로세서(216)는 다수의 인체 조직 타겟들 중 하나를 다수의 인체 조직 타겟들 중 또다른 것과 구별하기에 충분한 수신된 상호작용들을 처리하도록 구성된다. 이러한 타겟들은, 동일한 또는 상이한 사람으로부터의, 손, 팔, 다리, 머리 및 몸을 포함할 수 있다. 그렇게 함으로써, 한 번에 2명의 사람들에 의해 이루어지고 있는 비디오 게임과 같은, 다중-사람 제어가 가능해진다.

레이더-방출 엘리먼트(212)에 의해 제공되는 필드는 허공 제스처들을 감지하기 위해 3차원(3D) 볼륨(예를 들어, 반구, 정육면체, 용적측정 팬, 원뿔, 또는 원통)일 수 있지만, 표면 필드(예를 들어, 사람의 표면 상에 투사됨)가 대신 사용될 수 있다. 안테나 엘리먼트(214)는, 일부 경우들에서, 2개 이상의 타겟들(예를 들어, 손가락들, 팔들 또는 사람들)의 레이더 필드에서의 상호작용들로부터 반사들을 수신하도록 구성되고, 신호 프로세서(216)는, 표면에 대해서든 또는 3D 볼륨에서든 간에, 제스처들을 결정하기 위해 사용가능한 제스처 데이터를 제공하기에 충분한 수신된 반사들을 처리하도록 구성된다. 일부 종래의 기법들에 대해 어려울 수 있는 깊이 디멘젼에서의 상호작용들은 레이더-기반 제스처-인식 시스템(102)에 의해 정확하게 감지될 수 있다.

장애물들을 통한 제스처들을 감지하기 위해, 레이더-방출 엘리먼트(212)는 또한 직물, 나무 및 유리를 실질적으로 투과할 수 있는 복사를 방출하도록 구성될 수 있다. 안테나 엘리먼트(214)는 직물, 나무 또는 유리를 통해 인체 조직으로부터의 반사들을 수신하도록 구성되고, 신호 프로세서(216)는 심지어 장애물들을 두번 통과함으로써 부분적으로 영향을 받은 수신된 반사들을 이용하여 수신된 반사들을 제스처들로서 분석하도록 구성된다. 예를 들어, 레이더는 레이더 방출기와 사람 팔 사이에 개재된 직물층을 통과하고, 사람 팔에서 반사하고, 이후 직물층을 통해 안테나 엘리먼트로 되돌아간다.

예시적인 레이더 필드들이 도 1에 예시되는데, 그 중 하나는 근접 레이더 필드(106-1)이며, 이는 데스크톱 컴퓨터(104-1)의 레이더-기반 제스처-인식 시스템(102-1)에 의해 방출된다. 근접 레이더 필드(106-1)를 이용하여, 사용자는 레이더 필드를 방해하는 자신의 손 또는 손들(또는 스타일러스와 같은 디바이스)를 이용하여 복잡한 또는 단순한 제스처들을 취할 수 있다. 예시적인 제스처들은 문지르기, 두-손가락 집기, 확산, 및 회전, 두드리기 등과 같은, 현재 터치-감지형 디스플레이들과 함께 사용가능한 많은 제스처들을 포함한다. 복잡한 다른 제스처들이 가능해지거나, 또는 단순하지만 3차원인 예들은 많은 수화 제스처들, 예를 들어, 미식 수화(American Sign Language)(ASL) 및 전세계 다른 수화의 제스처들을 포함한다. 이들 중 몇몇 예들은: ASL에서 "예"를 의미하는 위-아래 주먹; "아니오"를 의미하는 편 검지와 중지를 움직여서 편 엄지에 붙이는 것; "진행(advance)"을 의미하는 편 손바닥을 한 단계 올리는 것; "오후"를 의미하는 펴서 기울인 손을 위아래로 움직이는 것; "택시"를 의미하는 손가락들을 오므리고 엄지를 펴서 펴진 손가락들과 편 엄지 쪽으로 움직이는 것; "위"를 의미하는 검지를 대략 수직 방향으로 움직이는 것 등이다. 이들은, 웹-기반 라디오 애플리케이션에서 또다른 노래, 스테레오 상에서 재생 중인 컴팩트 디스크 상의 다음 노래, 또는 컴퓨터 디스플레이 또는 디지털 픽쳐 프레임 상의 파일 또는 앨범에서의 다음 페이지 또는 이미지로 건너뛰기 위한 진행 제스처와 같이, 감지될 뿐만 아니라 특정 디바이스들 또는 애플리케이션들에 매핑될 수 있는 많은 제스처들 중 몇몇에 불과하다.

3개의 예시적인 중간 레이더 필드인, 위에서 언급된 도 1의 중간 레이더 필드(106-2)뿐만 아니라, 하기에 기술되는 도 4 및 도 6의 2개의 방-크기의 중간 레이더 필드들이 예시된다.

도 2로 돌아가면, 레이더-기반 제스처-인식 시스템(102)이 또한 제스처 데이터를 원격 디바이스에 전송하도록 구성되는 전송 디바이스를 또한 포함하지만, 이는 레이더-기반 제스처-인식 시스템(102)이 컴퓨팅 디바이스(104)와 통합될 때 사용될 필요가 없다. 포함될 때, 제스처 데이터는, 제스처가 레이더-기반 제스처-인식 시스템(102) 또는 컴퓨팅 디바이스(104)에 의해 결정되지 않는 경우들에서 원격 컴퓨팅 디바이스가 제스처를 결정하기에 충분한, 원격 컴퓨팅 디바이스에 의해 사용가능한 포맷으로 제공될 수 있다.

더 상세하게, 레이더-방출 엘리먼트(212)는 1 GHz 내지 300 GHz 범위, 3 GHz 내지 100 GHz 범위, 및 57 GHz 내지 63 GHz와 같은 더 좁은 대역들 내에서 마이크로파 복사를 방출하여 레이더 필드를 제공하도록 구성될 수 있다. 이 범위는 약 2 내지 약 25 밀리미터의 분해능에 대해 둘 이상의 타겟들의 위치들을 따르는 것과 같이, 상호작용들을 수신하기 위한 안테나 엘리먼트(214)의 능력에 영향을 준다. 레이더-방출 엘리먼트(212)는, 레이더-기반 제스처-인식 시스템(102)의 다른 엔티티들과 함께, 상대적으로 빠른 업데이트 레이트를 가지도록 구성될 수 있는데, 이는 상호작용들의 분해능에 있어서 도움이 될 수 있다.

특정 주파수들을 선택함으로써, 레이더-기반 제스처-인식 시스템(102)은 의복을 실질적으로 투과하는 반면 인체 조직을 실질적으로 투과하지 않도록 동작할 수 있다. 또한, 안테나 엘리먼트(214) 또는 신호 프로세서(216)는 의복에 의해 야기되는 레이더 필드에서의 상호작용들을 인체 조직에 의해 야기되는 레이더 필드에서의 상호작용들과 구별하도록 구성될 수 있다. 따라서, 일부 종래의 기법들에서 제스처들의 감지에 간섭할 수 있는 장갑을 끼거나 긴 소매 셔츠를 입고 있는 사람이 여전히 레이더-기반 제스처-인식 시스템(102)을 이용하여 감지될 수 있다.

레이더-기반 제스처-인식 시스템(102)은 하나 이상의 시스템 프로세서들(220) 및 시스템 매체(222)(예를 들어, 하나 이상의 컴퓨터-판독가능 저장 매체)를 또한 포함할 수 있다. 시스템 매체(222)는 시스템 매니저(224)를 포함하는데, 시스템 매니저(224)는, 신호 프로세서(216)로부터의 제스처 데이터에 기초하여 제스처를 결정하는 것, 결정된 제스처를 원격 디바이스(108)와 연관된 애플리케이션에 대한 제어 입력과 연관된 미리-구성된 제어 제스처에 매핑시키는 것, 및 트랜시버(218)가 (만약 원격인 경우) 애플리케이션의 제어를 가능하게 하는 데 유효한 제어 입력을 원격 디바이스에 전송하게 하는 것을 포함한 다양한 동작들을 수행할 수 있다. 이는 레이더-기반 제스처-인식 시스템(102)을 통해 위에-언급된 제어가 가능해질 수 있는 방식들 중 단지 하나이다. 시스템 매니저(224)의 동작들은 하기 방법들(300 및 500)의 일부로서 더 상세하게 제공된다.

이러한 그리고 다른 능력들 및 구성들, 뿐만 아니라, 도 1 및 2의 엔티티들이 작용하고 상호작용하는 방식들이 하기에 더 상세하게 설명된다. 이러한 엔티티들은 추가로 분할, 조합 등이 이루어질 수 있다. 도 1의 환경(100) 및 도 2 및 8의 상세한 예시들은 기술된 기법들을 사용할 수 있는 많은 가능한 환경들 및 디바이스들 중 일부를 예시한다.

예시적인 방법들

도 3 및 도 5는 레이더-기반 제스처 인식을 가능하게 하는 방법들을 도시한다. 방법(300)은 액터의 신원을 결정하고, 이 신원을 이용하여, 레이더 필드 내에서 수행되는 제스처들을 더 양호하게 결정할 수 있다. 방법(500)은 직물을 투과하지만 인체 조직으로부터 반사하도록 구성되는 레이더 필드를 통해 레이더-기반 제스처 인식을 가능하게 하며, 방법(300)과는 별도로 사용되거나, 또는 전체적으로 또는 부분적으로 방법(300)과 함께 사용될 수 있다.

이러한 방법들은 수행되는 동작들을 특정하는 블록들의 세트들로서 도시되지만, 각자의 블록들에 의한 동작을 수행하기 위해 도시된 순서 또는 조합들로 반드시 제한되지는 않는다. 후속하는 논의의 일부분들에서, 도 1의 환경(100)에 대한 참조가 이루어질 수 있고, 도 2에서 상술된 바와 같이, 단지 예를 들어 그것에 대한 참조가 이루어질 수 있다. 기법들은 하나의 디바이스 상에서 동작하는 하나의 엔티티 또는 다수의 엔티티들에 의한 성능으로 제한되지 않는다.

302에서, 레이더 필드가 제공된다. 이러한 레이더 필드는 제스처 매니저(206), 시스템 매니저(224) 또는 신호 프로세서(216) 중 하나 이상에 의해 야기될 수 있다. 따라서, 시스템 매니저(224)는 레이더-기반 제스처-인식 시스템(102)의 레이더-방출 엘리먼트(212)가 위에 주지된 기술된 레이더 필드들 중 하나를 제공(예를 들어, 투사 또는 방출)하게 할 수 있다.

304에서, 레이더 필드에 있는 액터에 의한 하나 이상의 초기 상호작용들이 감지된다. 이러한 초기 상호작용들은 본원에 주지된 다양한 제스처들 중 하나에 대한 상호작용들일 수 있거나, 또는 단순히 액터에 대한 크기 또는 다른 식별 인자를 결정하기에 충분한 상호작용일 수 있다. 액터는 특정한 사람 손가락, 손, 또는 팔 등과 같은, 제스처를 수행하는 다양한 엘리먼트들 중 하나일 수 있다. 또한, 인체 조직으로부터 반사하며 의복 및 다른 장애물들을 투과하도록 구성되는 레이더 필드를 이용하여, 제스처 매니저(206)는 액터를 더욱 정확하게 결정할 수 있다.

306에서, 액터의 신원은 레이더 필드에서의 하나 이상의 초기 상호작용들에 기초하여 결정된다. 이러한 초기 상호작용들은 사람이 레이더 필드를 통과하여 걸어가는 것 및 제스처 매니저가 사람의 키, 팔 곡률, 무게, 게이트, 또는 일부 레이더-검출가능한 항목, 예컨대, 사용자의 웨어러블 컴퓨팅 디바이스, 모바일 폰 등을 결정하는 것과 같은, 제스처들 또는 다른 상호작용들일 수 있다.

308에서, 레이더 필드에서의 상호작용이 감지된다. 이러한 상호작용은 액터에 대한 방출된 레이더의 반사를 수신함으로써 감지된다. 이러한 반사는 예를 들어, 인체 조직으로부터 올 수 있다. 레이더 필드와 그것의 동작에 관한 상세내용들은 방법(500)의 일부로서 그리고 본원에 주지된 다양한 예시적인 디바이스들에서 더 상세하게 커버된다.

310에서, 상호작용이 신원을 가지는 액터에 의한 것으로 결정된다. 그렇게 함으로써, 제스처 매니저(206)는 306에서 일단 액터의 신원이 결정되면 액터를 따를 수 있다. 이러한 따름은 그 액터를 다른 액터들과 구별하는 데 유효할 수 있다. 예시로서, 액터가 특정한 사람의 오른손인 것으로 결정된다고 가정한다. 따름은 오른손을 그 사람의 왼손과 구별하는 데 유효할 수 있는데, 이는 한번에 레이더 필드와 오버랩할 수 있거나 단순히 둘 모두가 레이더 필드와 한번에 상호작용할 수 있는 감지된 상호작용들을 결정하는 것을 보조한다. 액터는, 제스처 매니저(206)가 한 사람에 의한 상호작용들을 또다른 사람에 의한 상호작용들과 차별화할 수 있도록, 또한 전체 사람들일 수 있다.

또다른 예를 들어, 두 사람이 방 안에 있으며, 동시에 비디오 게임을 하기를 원한다고 가정한다 - 한 사람은 게임에서 하나의 차를 운전하고 또다른 사람은 또다른 차를 운전한다. 제스처 매니저(206)는 각자로부터의 제스처들이 차별화될 수 있도록 두 사람 모두의 상호작용들의 따름을 가능하게 한다. 이는 또한 하기에 더 상세하게 주지되는 바와 같이, 각 사람에 관한 정보에 기초하여 각각에 대한 정확한 제스처 인식을 보조한다.

312에서, 상호작용에 대응하는 제스처는 액터의 신원과 연관된 정보에 기초하여 결정된다. 이 정보는 상호작용에 기초하여 제스처를 결정하는 것을 보조하며, 단순히 식별된 액터이며 따라서 일부 다른 액터 또는 간섭이 아님으로 인해 다양한 타입들일 수 있거나 또는 식별자 액터에 기초한 이력 상의 제스처 변화량(variance)들과 같은 보다-상세한 정보일 수 있다.

따라서, 일부 경우들에서, 작은 움직임을 가지는 앞뒤 움직임들을 만드는(예를 들어, 손가락이 각 방향으로 단 2센티미터만 앞뒤로 움직이는 것) 이력을 가지는 특정한 사람의 오른손과 같은, 특정 액터의 이력이 사용되어 상호작용을 위해 요구되는 제스처를 결정할 수 있다. 다른 타입들의 정보는, 그 정보가 이력상의 제스처들에 기초하지 않더라도, 액터의 물리적 특성들을 포함한다. 건장한 사람의 몸 움직임들은 예를 들어, 작은, 가벼운 사람과 동일한 의도의 제스처에 대해 상이한 데이터를 생성할 것이다. 다른 예들은, 사람이 그들 스스로에 대해 제어 제스처를 사전구성하도록 선택하는 것과 같이, 액터에 대해 특정적인 제스처들(신원-특정적 제스처들)을 포함한다. 사용자가 볼륨-제어 다이얼을 쥐는 것과 같이, 자신의 오른손으로 속성상 원통형인 쥐기 제스처를 취하고, 이후 자신의 손을 시계방향으로 돌리도록 진행하는 경우를 고려한다. 이러한 제어 제스처는 다양한 디바이스들 또는 애플리케이션들에 대한 볼륨을 올리도록 구성되거나, 또는 텔레비전 또는 오디오 시스템 상에서만 볼륨을 올리는 것과 같이, 단일 디바이스와 연관될 수 있다.

314에서, 레이더 필드와의 상호작용이 디바이스를 제어하거나 또는 다른 방식으로 디바이스와 상호작용할 수 있게 하는 데 유효한 결정된 제스처가 전달된다. 예를 들어, 방법(300)은 컴퓨팅 디바이스의 애플리케이션 또는 운영 체제가 결정된 제스처에 대응하는 입력을 수신하게 하는 데 유효한 결정된 제스처를 애플리케이션 또는 운영 체제에 전달한다.

2명의 사람이 카-레이싱 게임을 하는 것을 수반하는 예를 판단하는 경우, 두 사람 모두의 상호작용들은 팔 및 몸 움직임들이라고 가정한다. 제스처 매니저(206)는 두 사람 모두로부터의 상호작용들을 수신하고, 어떤 사람이 이들의 신원들 중 어느 것에 기초하는지를 결정하고, 각각의 사람에 관한 정보에 기초하여, 어느 상호작용들이 어느 제스처들에 대응하는지뿐만 아니라, 해당 제스처들에 대해 적절한 스케일을 결정한다. 따라서, 한 사람이 어린이고, 물리적으로 작으며, 과장된 움직임들의 이력을 가지는 경우, 제스처 매니저(206)는 결정된 제스처(및 그것의 스케일 - 예를 들어, 어린이가 얼마나 멀리 오른쪽으로 차를 돌리려고 했는지)를 어린이에 관한 정보에 기초할 것이다. 유사하게, 다른 사람이 성인인 경우, 제스처 매니저(206)는 예를 들어, 결정된 제스처 및 그것의 스케일을 성인의 물리적 특성들 및 평균-스케일 움직임들의 이력에 기초할 것이다.

특정한 액터(여기서, 특정한 사람의 오른손)와 연관된 볼륨을 위로 올리기 위한 미리 구성된 제스처의 예로 돌아가면, 그 사람의 오른손은 304에서 레이더 필드와 일반적으로 상호작용하는 사람 또는 그 사람의 오른손에 응답하여 306에서 식별된다. 그러나, 308에서 레이더 필드와의 상호작용을 감지할 시에, 제스처 매니저는 310에서, 액터가 그 사람의 오른손이라고 결정하고, 미리-구성된 제스처와 연관된 것으로서 그 사람의 오른손에 대해 저장된 정보에 기초하여, 312에서, 상호작용이 텔레비전에 대한 볼륨-증가 제스처라고 결정한다. 이러한 결정 시에, 제스처 매니저(206)는 텔레비전의 볼륨을 증가시키는 데 유효한 볼륨-증가 제스처를 텔레비전에 전달한다.

추가적인 예시로써, 컴퓨팅 디바이스(402), 레이더 필드(404), 및 3명의 사람(406, 408 및 410)을 예시하는 도 4를 고려한다. 사람들(406, 408 및 410) 각각은 제스처를 수행하는 액터일 수 있지만, 각 사람은 다수의 액터들 - 예를 들어, 사람(410)의 각 손과 같은 - 을 포함할 수 있다. 사람(410)이, 여기서 안테나 엘리먼트(214)(도 1 및 2에 도시됨)에 의해 수신되는 반사들을 통해, 레이더-기반 제스처-인식 시스템(102)에 의해 동작(304)에서 감지되는, 레이더 필드(404)와 상호작용한다고 가정한다. 이러한 초기 상호작용을 위해, 사람(410)은 어떤 것이 명시적인 경우 거의 수행하지 않을 수 있지만, 명시적 상호작용 역시 허용된다. 여기서, 사람(410)은 단순히 걸어가서 의자에 앉고, 그렇게 함으로써 레이더 필드(404) 내로 걸어들어간다. 안테나 시스템(214)은 사람(410)으로부터의 수신된 반사들에 기초하여 이러한 상호작용을 감지한다.

레이더-기반 제스처-인식 시스템(102)은 사람(410)에 관한 정보, 예컨대, 그의 키, 몸무게, 골격 구조, 안면 형상 및 털(또는 그 부재)을 결정한다. 그렇게 함으로써, 레이더-기반 제스처-인식 시스템(102)은, 사람(410)이 특별히 알려진 사람이라고 결정하거나, 또는 동작(310)에서 수행되듯, 사람(410)을 방 안의 다른 사람들(사람들(406 및 408))과 구별하기 위해 단순히 그를 식별할 수 있다. 사람(410)의 신원이 결정된 이후, 사람(410)이 그의 왼손으로 슬라이드 쇼 프리젠테이션의 현재 페이지를 다음 페이지로 변경하도록 선택하기 위한 제스처를 취한다고 가정한다. 또한, 다른 사람들(406 및 408))이 또한 움직이면서 말하고 있으며, 사람(410)의 이러한 제스처를 간섭할 수 있거나, 또는 동일한 또는 다른 애플리케이션들에 대한 다른 제스처를 취하고, 따라서 하기에 주지되는 바와 같이 어느 액터가 어느 것이 유용할 수 있는지를 식별할 수 있다.

도 4의 3명의 사람(406, 408 및 410)의 진행중인 예를 판단하는 경우, 사람(410)에 의해 수행되는 제스처는 동작(312)에서 빠른 플립 제스처(예를 들어, 터치 스크린 상의 2차원적 문지르기(two-dimensional swipe)와 유사한, 파리 때리기(swatting away a fly)와 같은 것)인 것으로 제스처 매니저(206)에 의해 결정된다. 동작(314)에서, 빠른 플립 제스처는 디스플레이(412) 상에 보여지는 슬라이드쇼 소프트웨어 애플리케이션에 전달되고, 이에 의해 애플리케이션이 슬라이드쇼에 대한 상이한 페이지를 선택하게 한다. 위에 주지된 이러한 그리고 다른 예들이 예시하는 바와 같이, 기법들은, 공중의 3차원 제스처들에 대한 것 및 하나 초과의 액터에 대한 것을 포함한, 제스처들을 정확하게 결정할 수 있다.

방법(500)은 직물 또는 다른 장애물들을 투과하지만 인체 조직으로부터 반사하도록 구성되는 레이더 필드를 통한 레이더-기반 제스처 인식을 가능하게 한다. 방법(500)은, 예컨대 레이더-기반 제스처-인식 시스템을 사용하여 레이더 필드를 제공하고 방법(300)에 기술된 상호작용들에 의해 야기되는 반사들을 감지하기 위해, 방법(300)과 함께 작용하거나, 또는 방법(300)과는 별도로 작용할 수 있다.

502에서, 레이더-기반 제스처-인식 시스템의 레이더-방출 엘리먼트는 도 2의 레이더-방출 엘리먼트(212)와 같은 레이더 필드를 제공하게 한다. 이러한 레이더 필드는, 위에서 주지된 바와 같이, 만약 존재하더라도 거의 적은 거리에서 약 1.5 미터까지, 또는 약 1 내지 약 30 미터까지의 중간 거리까지의 근접 또는 중간 필드일 수 있다. 예시에 의해, 데스크톱의 디스플레이, 이미지들 등을 터치해야 할 필요 없이, 조작할 대형 스크린을 가지는 데스크톱 컴퓨터에 앉아 있는 동안 한손 또는 양손으로 취해진 미세하고 상세한 제스처들에 대한 근접 레이더 필드를 고려한다. 기법들은 예컨대, 제스처들을 사용하여 초상화를 "그리거나" 또는 두손으로 3차원 컴퓨터-보조-설계(computer-aided-design)(CAD) 이미지들을 조작하기 위해, 미세한 분해능 또는 복잡한 제스처들의 사용을 가능하게 한다. 위에서 주지된 바와 같이, 중간 레이더 필드들은 한번에 다수의 사람과 함께 하는 것을 포함하여, 비디오 게임, 텔레비전, 및 다른 디바이스들을 제어하기 위해 사용될 수 있다.

504에서, 레이더-기반 제스처-인식 시스템의 안테나 엘리먼트는 레이더 필드에서의 상호작용에 대한 반사들을 수신하게 된다. 예를 들어, 도 2의 안테나 엘리먼트(214)는 제스처 매니저(206), 시스템 프로세서들(220) 또는 신호 프로세서(216)의 제어 하에 반사들을 수신할 수 있다.

506에서, 레이더-기반 제스처-인식 시스템의 신호 프로세서는 반사들을 처리하여 레이더 필드에서의 상호작용에 대한 데이터를 제공하게 된다. 상호작용에 대한 반사들은 신호 프로세서(216)에 의해 처리될 수 있고, 이는 예컨대, 시스템 매니저(224) 또는 제스처 매니저(206)에 의해 의도되는 제스처에 대한 추후 결정을 위해 제스처 데이터를 제공할 수 있다. 레이더-방출 엘리먼트(212), 안테나 엘리먼트(214), 및 신호 프로세서(216)가 프로세서들 및 프로세서-실행가능 명령들을 이용하여 또는 프로세서들 및 프로세서-실행가능 명령들 없이 작용할 수 있다는 것에 유의한다. 따라서, 레이더-기반 제스처-인식 시스템(102)은, 일부 경우들에서, 하드웨어, 또는 소프트웨어 및/또는 펌웨어와 공조하는 하드웨어를 이용하여 구현될 수 있다.

예시에 의해, 레이더-기반 제스처-인식 시스템(102), 텔레비전(602), 레이더 필드(604), 2명의 사람들(606 및 608), 소파(610), 램프(612) 및 신문(614)을 도시하는 도 6을 고려한다. 레이더-기반 제스처-인식 시스템(102)은, 위에서 주지된 바와 같이, 물체들 및 의복을 통과할 수 있지만 인체 조직으로부터 반사할 수 있는 레이더 필드를 제공할 수 있다. 따라서, 레이더-기반 제스처-인식 시스템(102)은, 동작들(502, 504 및 506)에서, 해당 제스처들이 방해받는다 할지라도, 사람들로부터의 제스처들, 예컨대, 소파(610) 뒤에 있는 사람(608)의 몸 또는 다리 제스처(도시된 레이더는 물체 투과선들(616)에서 소파(610)를 통과하여 통과된 선들(618)에서 계속됨), 또는 신문(614), 또는 사람(606) 또는 사람(608)의 손 또는 팔 제스처를 방해하는 재킷과 셔츠에 의해 방해받는 사람(606)의 손 제스처를 생성하고 감지한다.

508에서, 상호작용을 야기하는 액터에 대한 신원은 상호작용에 대해 제공되는 데이터에 기초하여 결정된다. 이러한 신원이 요구되지는 않지만, 이러한 신원을 결정하는 것은 정확성을 개선하고, 간섭을 감소시키고, 또는 본원에 주지된 바와 같은 신원-특정적 제스처들을 허용할 수 있다.

액터의 신원을 결정한 이후, 방법(500)은 502로 진행하여, 제2 상호작용 및 이후 제2 상호작용에 대한 제스처를 감지하는 데 유효한 동작들을 반복할 수 있다. 한 가지 경우, 이러한 제2 상호작용은 액터의 신원 뿐만 아니라 상호작용 그 자체에 대한 데이터에 기초한다. 그러나, 방법(500)이 506에서 510으로 진행하여 신원 없이 510에서 제스처를 결정할 수 있음에 따라, 이것이 요구되지는 않는다.

510에서, 제스처는 레이더 필드 내의 상호작용에 대해 결정된다. 주지된 바와 같이, 이러한 상호작용은 제1, 제2 또는 추후의 상호작용들일 수 있고, 상호작용을 야기하는 액터에 대한 신원에 또한 기초할 수 있다(또는 기초하지 않을 수 있다).

510에서 제스처를 결정하는 것에 응답하여, 512에서, 애플리케이션 또는 운영 체제가 결정된 제스처에 대응하는 입력을 수신하게 하는 데 유효한 제스처가 애플리케이션 또는 운영 체제에 전달된다. 그렇게 함으로써, 사용자는 예를 들어, 원격 디바이스 상의 매체의 재생(예를 들어, 텔레비전에서의 텔레비전 쇼)을 일시정지하게 하는 제스처를 취할 수 있다. 일부 실시예들에서, 따라서, 레이더-기반 제스처-인식 시스템(102) 및 이러한 기법들은 텔레비전들, 컴퓨터들, 가전기기들 등에 대한 유니버설 제어기로서 작용한다.

제스처를 전달하는 것의 일부로서 또는 제스처를 전달하기 이전에, 제스처 매니저(206)는 제스처가 어느 애플리케이션 또는 디바이스에 대해 의도되었는지를 결정할 수 있다. 그렇게 하는 것은 신원-특정적 제스처들, 사용자가 현재 상호작용하고 있는 현재 디바이스에 기초하고 그리고/또는 사용자가 애플리케이션과 상호작용할 수 있는 제어들에 기초할 수 있다. 제어들은 인터페이스(예를 들어, 시각적 제어들), 공개된 API들 등의 검사를 통해 결정될 수 있다.

위에서 부분적으로 주지된 바와 같이, 레이더-기반 제스처-인식 시스템(102)은 다양한 장애물들을 통과하지만 인체 조직으로부터 반사하고, 이에 의해 제스처 인식을 잠재적으로 개선할 수 있는 레이더 필드를 제공한다. 예시에 의해, 제스처를 수행하는 팔이 셔츠 소매에 의해 방해받는 예시적인 팔 제스처를 고려한다. 이는 도 7에 예시되어 있는데, 이는 방해받는 팔 제스처(706)에서 3개의 위치들에서 셔츠 소매(704)에 의해 방해받는 팔(702)을 도시한다. 셔츠 소매(704)는 일부 종래의 기법들을 이용한 일부 타입들의 제스처들의 인식을 더 어렵거나 심지어 불가능하게 할 수 있다. 그러나, 셔츠 소매(704)는 통과될 수 있고, 레이더가 셔츠 소매(704)를 통해 팔(702)로부터 역으로 반사될 수 있다. 다소 간략화되었지만, 레이더-기반 제스처-인식 시스템(102)은 셔츠 소매(704)를 통과할 수 있고, 이에 의해 방해받지 않는 팔 제스처(708)에서 팔 제스처를 감지할 수 있다. 이는 움직임들 및 따라서 제스처들의 더 정확한 감지를 가능하게 할 뿐만 아니라, 제스처를 수행하는 액터들의, 여기서는 특정한 사람의 오른팔의, 신원들의 준비된 인식을 허용한다. 인체 조직이 시간 경과에 따라 변경할 수 있지만, 변화량은 의복, 다른 장애물들 등에 대한 매일의 그리고 계절별 변경들에 의해 야기되는 것보다는 일반적으로 훨씬 더 적다.

일부 경우들에서, 방법(300 또는 500)은 제어되고 있는 디바이스로부터 원격인 디바이스 상에서 동작한다. 이 경우, 원격 디바이스는 도 1 및 2의 컴퓨팅 디바이스(104)의 엔티티들을 포함하고, 하나 이상의 통신 방식들을 통해, 예컨대, 트랜시버들 및/또는 네트워크 인터페이스들(예를 들어, 네트워크 인터페이스(208) 및 트랜시버(218))을 통해 무선으로 제스처를 전달한다. 이러한 원격 디바이스는, 컴퓨팅 디바이스(104) - 레이더-기반 제스처-인식 시스템(102)의 모든 엘리먼트들이 제스처 매니저(206)를 가지는 또다른 디바이스가 제스처를 결정하고 사용하기에 충분한 제스처 데이터를 전달할 수 있는 것을 요구하지는 않는다.

방법들(300 및 500)의 동작들은, 예컨대, 다수의 다른 애플리케이션들 및 다수의 다른 애플리케이션들이 제어될 수 있는 다른 제어들을 결정함으로써, 반복될 수 있다. 방법들(500)은 이후 애플리케이션 또는 액터와 연관된 다양한 애플리케이션들을 제어하기 위한 다양한 상이한 제어들을 나타낼 수 있다. 일부 경우들에서, 기법들은 고유한 그리고/또는 복잡한 그리고 3차원의 제어들을 결정하거나 상이한 에플리케이션들에 할당하고, 이에 의해 사용자가 다수의 애플리케이션 간의 제어를 스위칭하도록 선택할 필요 없이 다수의 애플리케이션들을 제어하도록 한다. 따라서, 액터는 컴퓨팅 디바이스(104) 상의 하나의 소프트웨어 애플리케이션을 제어하기 위한 특정 제스처, 또다른 소프트웨어 애플리케이션을 제어하기 위한 또다른 특정 제스처, 및 온도조절기 또는 스테레오에 대한 또다른 제스처를 할당할 수 있다. 이러한 제스처는 다수의 상이한 사람들에 의해 사용될 수 있거나, 또는 일단 액터의 신원이 결정되면 그 특정 액터와 연관될 수 있다.

이전의 논의는 레이더-기반 제스처 인식에 관련된 방법들을 기술한다. 이러한 방법들의 양태들은 하드웨어(예를 들어, 고정된 논리 회로), 펌웨어, 소프트웨어, 수동 처리, 또는 이들의 임의의 조합에서 구현될 수 있다. 이러한 기법들은 도 1, 2, 4, 6 및 8에 도시된 엔티티들(컴퓨팅 시스템(800)은 하기에 도 8에서 기술됨) 중 하나 이상에서 구현될 수 있으며, 이들은 추가로 분할, 조합 등이 이루어질 수 있다. 따라서, 이러한 도면들은 기술된 기법들을 사용할 수 있는 많은 가능한 시스템들 또는 장치들 중 일부를 예시한다. 이러한 도면들의 엔티티들은 일반적으로 소프트웨어, 펌웨어, 하드웨어, 전체 디바이스들 또는 네트워크들, 또는 이들의 조합을 나타낸다.

예시적인 컴퓨팅 시스템

도 8은 이전 도 1-7에 관련하여 기술된 바와 같은 임의의 타입의 클라이언트, 서버 및/또는 컴퓨팅 디바이스로서 구현되어 레이더-기반 제스처 인식을 구현할 수 있는 예시적인 컴퓨팅 시스템(800)의 다양한 컴포넌트들을 예시한다.

컴퓨팅 시스템(800)은 디바이스 데이터(804)(예를 들어, 수신된 데이터, 수신 중인 데이터, 방송을 위해 스케쥴링된 데이터, 데이터의 데이터 패킷들 등)의 유선 및/또는 무선 통신을 가능하게 하는 통신 디바이스들(802)을 포함한다. 디바이스 데이터(804) 또는 다른 디바이스 콘텐츠는 디바이스의 구성 설정들, 디바이스 상에 저장된 미디어 콘텐츠, 및/또는 디바이스의 사용자와 연관된 정보(예를 들어, 제스처를 수행하는 액터의 신원)를 포함할 수 있다. 컴퓨팅 시스템(800) 상에 저장된 미디어 콘텐츠는 임의의 타입의 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 컴퓨팅 시스템(800)은 하나 이상의 데이터 입력들(806)을 포함하며, 이를 통해, 사람 발언들, 레이더 필드와의 상호작용들, 사용자-선택가능한 입력들(명시적 또는 암시적), 메시지들, 음악, 텔레비전 미디어 콘텐츠, 레코딩된 비디오 콘텐츠와 같은 임의의 타입의 데이터, 미디어 콘텐츠, 및/또는 임의의 콘텐츠 및/또는 데이터 소스로부터 수신되는 임의의 다른 타입의 오디오, 비디오, 및/또는 이미지 데이터가 수신될 수 있다.

컴퓨팅 시스템(800)은 또한 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 타입의 네트워크 인터페이스, 모뎀 중 임의의 하나 이상으로서, 그리고 임의의 다른 타입의 통신 인터페이스로서 구현될 수 있는, 통신 인터페이스들(808)을 또한 포함한다. 통신 인터페이스들(808)은 다른 전자, 컴퓨팅 및 통신 디바이스들이 컴퓨팅 시스템(800)과 데이터를 통신하는 통신 네트워크와 컴퓨팅 시스템(800) 사이에 접속 및/또는 통신 링크들을 제공한다.

컴퓨팅 시스템(800)은 하나 이상의 프로세서들(810)(예를 들어, 마이크로프로세서들, 제어기들 등 중 임의의 것)을 포함하며, 이는 다양한 컴퓨터-실행가능 명령들을 처리하여 컴퓨팅 시스템(800)의 동작을 제어하고, 레이더-기반 제스처 인식을 위한, 또는 레이더-기반 제스처 인식이 구현될 수 있는 기법들을 가능하게 한다. 대안적으로 또는 추가로, 컴퓨팅 시스템(800)은 812에서 일반적으로 식별되는 처리 및 제어 회로들과 관련하여 구현되는 하드웨어, 펌웨어, 또는 고정된 논리 회로 중 임의의 하나 또는 조합을 이용하여 구현될 수 있다. 도시되지 않았지만, 컴퓨팅 시스템(800)은 디바이스 내의 다양한 컴포넌트들을 커플링시키는 시스템 버스 또는 데이터 전달 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 유니버설 직렬 버스, 및/또는 다양한 버스 아키텍처들 중 임의의 것을 이용하는 프로세서 또는 로컬 버스와 같은, 상이한 버스 구조체들 중 임의의 하나 또는 조합을 포함할 수 있다.

컴퓨팅 시스템(800)은 영구적인 그리고/또는 비-일시적인 데이터 저장소를 인에이블시키는(즉, 단순한 신호 전송에 비해) 하나 이상의 메모리 디바이스들과 같은 컴퓨터-판독가능 매체(814)를 또한 포함하며, 그 예들은 랜덤 액세스 메모리(RAM), 비-휘발성 메모리(예를 들어, 판독-전용 메모리(ROM), 플래시 메모리, EPROM, EEPROM 등 중 임의의 하나 이상), 및 디스크 저장 디바이스를 포함한다. 디스크 저장 디바이스는 하드 디스크 드라이브, 레코딩가능한 그리고/또는 재기록가능한 컴팩트 디스크(CD), 임의의 타입의 디지털 다목적 디스크(DVD) 등과 같은, 임의의 타입의 자기 또는 광학 저장 디바이스로서 구현될 수 있다. 컴퓨팅 시스템(800)은 대용량 저장 매체 디바이스(저장 매체)(816)를 또한 포함할 수 있다.

컴퓨터-판독가능 매체(814)는 디바이스 데이터(804)를 저장하기 위한 데이터 저장 메커니즘들, 뿐만 아니라, 컴퓨팅 시스템(800)의 동작 양태들에 관련된 다양한 디바이스 애플리케이션들(818) 및 임의의 다른 타입들의 정보 및/또는 데이터를 제공한다. 예를 들어, 운영 체제(820)는 컴퓨터-판독가능 매체(814)를 이용하여 컴퓨터 애플리케이션으로서 유지되고 프로세서들(810) 상에서 실행될 수 있다. 디바이스 애플리케이션들(818)은 임의의 형태의 제어 애플리케이션, 소프트웨어 애플리케이션, 신호-처리 및 제어 모듈, 특정 디바이스에 대해 고유한 코드, 특정 디바이스에 대한 하드웨어 추상화 계층 등과 같은, 디바이스 매니저를 포함할 수 있다. 디바이스 애플리케이션들(818)은 제스처 매니저(206) 및 시스템 매니저(224)와 같은, 레이더-기반 제스처 인식을 구현하기 위한 시스템 컴포넌트들, 엔진들 또는 매니저들을 또한 포함한다.

결론

레이더-기반 제스처 인식을 사용하는 기법들 및 레이더-기반 제스처 인식을 포함하는 장치들의 실시예들이 특징들 및/또는 방법들에 대해 특정적인 언어로 기술되었지만, 첨부된 청구항들의 대상이 기술된 특정 특징들 또는 방법들로 반드시 제한되지는 않는다는 것이 이해되어야 한다. 오히려, 특정 특징들 및 방법들은 레이더-기반 제스처 인식의 예시적인 구현예들로서 개시된다.

Claims

컴퓨터 구현 방법으로서,
레이더-기반 제스처-인식 시스템(radar-based gesture-recognition system)을 통해, 레이더 필드(radar field)를 제공하는 단계;
상기 레이더-기반 제스처-인식 시스템을 통해, 상기 레이더 필드 내의 액터(actor)에 의한 하나 이상의 초기 상호작용들을 감지하는 단계;
상기 레이더 필드 내의 상기 하나 이상의 초기 상호작용들에 기초하여, 상기 액터의 신원을 결정하는 단계;
상기 레이더-기반 제스처-인식 시스템을 통해, 상호작용을 감지하는 단계;
상기 상호작용이 상기 신원을 가지는 액터에 의한 것이라고 결정하는 단계; 및
상기 액터의 신원과 연관된 정보에 기초하여, 상기 상호작용에 대응하는 제스처를 결정하는 단계
를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 상호작용이 상기 신원을 가지는 액터에 의한 것이라고 결정하는 단계는 상기 레이더-기반 제스처-인식 시스템을 사용하여 상기 액터를 따르고(follow), 상기 따르는 것은 상기 액터를 다른 액터들과 구별하는 데 유효한(effective) 컴퓨터 구현 방법.
제2항에 있어서, 상기 액터는 사람의 제1 손이고, 상기 다른 액터들 중 하나는 상기 사람의 제2 손인 컴퓨터 구현 방법.
제2항에 있어서, 상기 액터는 제1 사람이고, 상기 다른 액터들 중 하나는 제2 사람인 컴퓨터 구현 방법.
제4항에 있어서, 상기 상호작용은 상기 제1 사람의 팔 또는 몸 움직임이고, 상기 방법은:
제2 상호작용을 수신하는 단계;
상기 제2 사람을 따르는 것에 기초하여 상기 제2 상호작용이 상기 제2 사람에 의한 것이라고 결정하는 단계;
상기 제2 사람과 연관된 제2 정보에 기초하여, 상기 제2 상호작용에 대응하는 제2 제스처를 결정하는 단계; 및
애플리케이션 또는 운영 체제가 상기 제1 제스처 및 상기 제2 제스처와 연관된 제1 입력 및 제2 입력을 각자 수신하게 하는 데 유효한 상기 제스처 및 상기 제2 제스처를 제공하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 방법을 수행하는 컴퓨팅 디바이스의 애플리케이션 또는 운영 체제가 상기 결정된 제스처에 대응하는 입력을 수신하게 하는 데 유효한 상기 결정된 제스처를 상기 애플리케이션 또는 운영 체제에 전달하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 정보는 상기 상호작용에 기초하여 상기 제스처를 결정하는 것을 보조하고, 상기 정보는 상기 제스처의 결정에 영향을 주는 상기 액터의 이력상의 제스처 변화들(historical gesture variances) 또는 물리적 특성들을 나타내는 컴퓨터 구현 방법.
제1항에 있어서, 상기 상호작용에 대응하는 제스처를 결정하는 단계는, 상기 액터의 신원과 연관된 정보에 기초하여, 상기 상호작용을 상기 액터와 연관된 신원-특정적 제스처(identity-specific gesture)에 매핑시키는 컴퓨터 구현 방법.
제8항에 있어서, 상기 신원-특정적 제스처는 상기 액터 및 애플리케이션과 고유하게 연관된 미리-구성된 제어 제스처이고, 상기 방법은 상기 애플리케이션이 상기 신원-특정적 제스처에 의해 제어되게 하는 데 유효한 상기 미리-구성된 제어 제스처를 상기 애플리케이션에 전달하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 제스처가 원격 디바이스와 연관된다고 결정하는 단계 및 상기 제스처를 상기 원격 디바이스에 전달하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 상호작용의 적어도 일부분은 상기 레이더-기반 제스처-인식 시스템과 인체 조직 사이에 개재되는 재료의 층을 가지는 상기 인체 조직으로부터의 반사들(reflections)을 포함하고, 상기 재료의 층은 유리, 나무, 나일론, 면 또는 울을 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 레이더-기반 제스처-인식 시스템은 상기 방법을 수행하는 컴퓨팅 디바이스와 연관되고, 상기 레이더 필드는 근접 레이더 필드이고, 상기 상호작용은 상기 컴퓨팅 디바이스의 디스플레이로부터 1 밀리미터에서 1.5 미터까지 확장하는 범위에 걸쳐 감지되는 컴퓨터 구현 방법.
제1항에 있어서, 상기 액터의 신원과 연관된 정보는 상기 액터의 물리적 크기 또는 상기 액터에 의해 수행되는 제스처들에 대한 스케일(scale)을 나타내고, 상기 상호작용에 대응하는 제스처를 결정하는 단계는 상기 물리적 크기 또는 상기 제스처들에 대한 스케일에 기초하는 컴퓨터 구현 방법.
레이더-기반 제스처-인식 시스템으로서,
레이더 필드를 제공하도록 구성되는 레이더-방출 엘리먼트 ― 상기 레이더 필드는 직물을 투과하고 인체 조직으로부터 반사되도록 구성됨 ― ;
상기 레이더 필드 내에 있는 다수의 인체 조직 타겟들로부터의 반사들을 수신하도록 구성되는 안테나 엘리먼트; 및
상기 다수의 인체 조직 타겟들 중 하나의 인체 조직 타겟을 상기 다수의 인체 조직 타겟들 중 다른 인체 조직 타겟과 구별하기에 충분한 상기 레이더 필드 내의 상기 다수의 인체 조직 타겟들로부터 수신된 반사들을 처리하여 상기 다수의 인체 조직 타겟들 중 상기 하나의 인체 조직 타겟으로부터의 제스처를 결정하기 위해 사용가능한 제스처 데이터를 제공하도록 구성되는 신호 프로세서
를 포함하는 레이더-기반 제스처-인식 시스템.
제14항에 있어서, 상기 다수의 인체 조직 타겟들은 동일한 사람의 상이한 부분들인 레이더-기반 제스처-인식 시스템.
제14항에 있어서, 상기 다수의 인체 조직 타겟들은 상이한 사람들이며, 상기 다수의 인체 조직 타겟들 중 하나의 인체 조직 타겟을 상기 다수의 인체 조직 타겟들 중 다른 인체 조직 타겟과 구별하는 것은, 상기 상이한 사람들 중 한 사람에 대한 제스처 데이터를 제공하는 데 유효한 레이더-기반 제스처-인식 시스템.
제14항에 있어서, 상기 레이더 필드는 깊이가 약 1 미터 내지 약 10 미터이고, 상기 안테나 엘리먼트 또는 상기 신호 프로세서는 몸, 팔, 또는 다리 움직임들에 의해 야기되는 인체 조직으로부터의 반사들에 기초하여 큰-몸 제스처들(large-body gestures)을 제공하기 위해 상기 수신된 반사들을 처리하도록 구성되는 레이더-기반 제스처-인식 시스템.
제14항에 있어서, 상기 레이더-방출 엘리먼트는 3차원 볼륨에서 상기 레이더 필드를 제공하고, 상기 안테나 엘리먼트는 상기 3차원 볼륨에서 반사들을 수신할 수 있고, 상기 신호 프로세서는 3차원에서 제스처들을 결정하기 위해 사용가능한 제스처 데이터를 제공하기에 충분한 상기 3차원 볼륨에서 수신된 반사들을 처리하도록 구성되는 레이더-기반 제스처-인식 시스템.
제14항에 있어서, 상기 레이더-방출 엘리먼트는 대략 57 GHz 내지 대략 63 GHz의 범위에 걸쳐 마이크로파 복사(microwave radiation)를 방출하도록 구성되는 레이더-기반 제스처-인식 시스템.
장치로서,
레이더 필드를 제공하도록 구성되는 레이더-방출 엘리먼트 ― 상기 레이더 필드는 직물을 투과하고 인체 조직으로부터 반사하도록 구성됨 ― ;
상기 레이더 필드 내에 있는 인체 조직으로부터의 반사들을 수신하도록 구성되는 안테나 엘리먼트; 및
상기 레이더 필드 내의 인체 조직으로부터 수신된 반사들을 처리하여 상기 수신된 반사들과 연관된 데이터를 제공하도록 구성되는 신호 프로세서
를 포함하는 레이더-기반 제스처-인식 시스템;
하나 이상의 컴퓨터 프로세서들; 및
명령들이 저장된 하나 이상의 컴퓨터-판독가능 저장 매체
를 포함하고,
상기 명령들은, 상기 하나 이상의 컴퓨터 프로세서들에 의한 실행에 응답하여:
상기 레이더-기반 제스처-인식 시스템이 상기 레이더-방출 엘리먼트에 의해 레이더 필드를 제공하게 하는 것;
상기 레이더-기반 제스처-인식 시스템이 상기 안테나 엘리먼트에 의해 상기 레이더 필드 내에서 제1 상호작용에 대한 제1 반사들을 수신하게 하는 것;
상기 신호 프로세서가 상기 수신된 반사들을 처리하여 상기 제1 상호작용에 대한 데이터를 제공하게 하는 것;
상기 제1 상호작용에 대해 제공된 데이터에 기초하여, 상기 제1 상호작용을 야기하는 액터의 신원을 결정하는 것;
상기 레이더-기반 제스처-인식 시스템이 상기 안테나 엘리먼트에 의해 상기 레이더 필드 내에서 제2 상호작용에 대한 제2 반사들을 수신하게 하는 것;
상기 신호 프로세서가 상기 수신된 제2 반사들을 처리하여 상기 제2 상호작용에 대한 제2 데이터를 제공하게 하는 것;
상기 제2 상호작용에 대해 제공된 제2 데이터 및 상기 액터의 신원에 기초하여, 상기 제2 상호작용에 대응하는 제스처를 결정하는 것; 및
애플리케이션 또는 운영 체제가 상기 결정된 제스처에 대응하는 입력을 수신하게 하는 데 유효한 상기 결정된 제스처를 상기 애플리케이션 또는 운영 체제에 전달하는 것
을 포함하는 동작들을 수행하는 장치.