KR20160068843A - 초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법 - Google Patents

초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160068843A
KR20160068843A KR1020167011824A KR20167011824A KR20160068843A KR 20160068843 A KR20160068843 A KR 20160068843A KR 1020167011824 A KR1020167011824 A KR 1020167011824A KR 20167011824 A KR20167011824 A KR 20167011824A KR 20160068843 A KR20160068843 A KR 20160068843A
Authority
KR
South Korea
Prior art keywords
gesture
ultrasonic
ultrasonic waves
ultrasound
irradiating
Prior art date
Application number
KR1020167011824A
Other languages
English (en)
Inventor
화량 니
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160068843A publication Critical patent/KR20160068843A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

초음파 빔포밍을 사용한 제스처 검출을 위한 방법들, 시스템들, 컴퓨터 판독가능 매체들, 및 장치들이 제시된다. 일부 실시형태들에서, 초음파 빔포밍을 사용한 제스처 검출을 위한 방법은, 표면에 평행한 초음파를 조사하는 단계를 포함하고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 방법은, 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하는 단계를 더 포함한다. 방법은 부가적으로 수신된 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하는 단계를 포함한다.

Description

초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법{SYSTEM AND METHOD FOR MULTI-TOUCH GESTURE DETECTION USING ULTRASOUND BEAMFORMING}
개시물의 양태들은 제스처 검출에 관한 것이다. 보다 구체적으로, 개시물의 양태들은 초음파 빔포밍을 사용한 멀티-터치 제스처 검출에 관한 것이다.
최신 터치 스크린 디바이스들은 하나 이상의 손가락들로 스크린을 터치하는 것에 의해 단순한 또는 멀티 터치 제스처들을 이용한 사용자 제어를 감안한다. 일부 터치스크린 디바이스들은 오브젝트들, 예컨대 스타일러스 또는 보통의 또는 특별히 코팅된 글로브들을 검출할 수도 있다. 터치 스크린은 사용자가 디스플레이되는 것과 직접 상호작용하는 것을 가능하게 한다. 최근, 터치 스크린 피처 (feature) 들을 포함할 수도 있는 디스플레이 디바이스들은 사이즈가 더 커지고 있다. 예를 들어, 평균 텔레비전 사이즈는 대각선 40 인치로 빠르게 접근하고 있다. 이들 대형 디스플레이들에서 터치 스크린 기능을 포함하는 비용은 엄청난 비용이다. 부가적으로, 터치 스크린들의 큰 사이즈는 사용자에 의해 증가된 익스트리미티 (extremity) 움직임을 필요로 하여, 감소된 사용자 경험을 야기한다. 현재의 솔루션들은 전형적인 터치 스크린들, 적외선 (IR) led 기반 터치 프레임들, 및 듀얼 IR 카메라 터치 솔루션들의 형태로 존재한다. 하지만, 이들 솔루션들 모두가 상이한 터치 사이즈들에 대한 전용 제품을 필요로 한다.
따라서, 단순한 또는 멀티-터치 제스처들을 사용하여 대형 디스플레이 디바이스들을 제어하기 위한 비용 효율적이고 사용자 친화적인 방법에 대한 필요성이 존재한다.
소정의 실시형태들은 멀티-터치 제스처 인식을 위해 표면을 따라 빔포밍을 통해 초음파를 출력할 수 있는 포터블 디바이스를 기재한다.
일부 실시형태들에서, 제스처 검출을 위한 방법은, 표면에 평행한 초음파를 조사 (project) 하는 단계를 포함하고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 방법은, 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하는 단계를 더 포함한다. 방법은 또한 수신된 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하는 단계를 포함한다.
일부 실시형태들에서, 방법은 해석된 제스처를 디지털 이미지로 변환하는 단계를 더 포함하고, 디지털 이미지는 해석된 제스처의 표현이다.
일부 실시형태들에서, 방법은 해석하는 단계에 적어도 부분적으로 기초하여 명령을 실행하는 단계를 더 포함한다.
일부 실시형태들에서, 오브젝트는 사용자 익스트리미티를 포함한다.
일부 실시형태들에서, 조사하는 단계는 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 단계를 더 포함한다.
일부 실시형태들에서, 2-D 제스처 스캐닝 영역은 조사된 초음파의 주파수 또는 강도에 적어도 부분적으로 기초하여 정의된다.
일부 실시형태들에서, 조사하는 단계는, 5mm 이하의 거리로 표면에 평행한 초음파를 조사하는 단계를 더 포함한다.
일부 실시형태들에서, 제스처 검출을 위한 장치는, 표면에 평행한 초음파를 조사하도록 구성된 초음파 트랜스듀서를 포함하고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 초음파 트랜스듀서는 또한 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하도록 구성된다. 장치는 또한, 초음파 트랜스듀서에 커플링되고, 수신된 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하도록 구성된 프로세서를 포함한다.
일부 실시형태들에서, 제스처 검출을 위한 장치는 표면에 평행한 초음파를 조사하는 수단을 포함하고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 장치는, 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하는 수단을 더 포함한다. 장치는 또한, 수신된 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하는 수단을 포함한다.
일부 실시형태들에서, 프로세서 판독가능 매체는 프로세서 판독가능 명령들을 포함하고, 프로세서 판독가능 명령들은 프로세서로 하여금 표면에 평행한 초음파를 조사하게 하도록 구성되고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 프로세서 판독가능 명령들은 또한 프로세서로 하여금 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하게 하도록 구성된다. 프로세서 판독가능 명령들은 또한, 프로세서로 하여금 수신된 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하게 하도록 구성된다.
개시물의 양태들은 예시로서 도시된다. 첨부 도면들에서, 같은 참조 번호들은 유사한 엘리먼트들을 표시한다.
도 1 은 하나 이상의 실시형태들을 통합할 수도 있는 초음파 빔포밍 디바이스의 간략화된 블록 다이어그램을 도시한다.
도 2a 는 일부 실시형태들에 따른, 초음파 빔포밍 디바이스에 커플링된 외부 시스템을 포함하는 제스처 환경을 도시한다.
도 2b 는 일부 실시형태들에 따른, 제스처 환경에서 멀티-터치 제스처들을 수행하는 것을 도시한다.
도 3 은 일부 실시형태들에 따른, 초음파 빔포밍 디바이스의 일 실시형태를 도시한다.
도 4 는 일부 실시형태들에 따른, 화이트보드를 따라 초음파의 프로젝션을 도시한다.
도 5 는 초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 예시적인 동작을 도시하는 예시적인 플로우 챠트이다.
도 6 은 하나 이상의 실시형태들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 도시한다.
몇몇 예시적인 실시형태들은 그 일부를 형성하는 첨부 도면들과 관련하여 이제 설명될 것이다. 본 개시물의 하나 이상의 양태들이 구현될 수도 있는 특정 실시형태들이 아래에 설명되지만, 본 개시물의 범위 또는 첨부된 청구항들의 사상을 벗어나는 일 없이 다른 실시형태들이 사용될 수도 있고 다양한 변형들이 이루어질 수도 있다.
본 실시형태들에 따라, 초음파 빔포밍이 가능한 소형의 포터블 및 스케일러블 디바이스가 표면에 평행한 초음파 빔을 조사할 수도 있다. 실제로, 이러한 기능은 평탄한 표면 (예를 들어, 테이블 윗면 등) 을 사용자 입력 디바이스로서 기능할 수 있는 멀티-터치 표면으로 가상으로 변환할 수도 있다. 멀티-터치 표면의 사이즈는 어플리케이션의 필요성들에 기초하여 조정가능할 수도 있다. 디바이스에 의해 사용된 초음파 빔포밍 기법은 메디컬 어플리케이션들 (예를 들어, 소노그램들) 에서 종종 사용된 초음파 B-모드 장비와 유사할 수도 있다. 디바이스는 초음파들을 송신하고 수신하도록 동작가능한 초음파 트랜스듀서 어레이, 수신된 초음파 신호들을 디지털화하기 위한 아날로그-디지털 변환기 (ADC), 초음파 빔들의 송신 타이밍을 제어하기 위한 비머 (beamer), 및 수신된 초음파 빔들을 재구성하기 위한 빔포머를 포함할 수도 있다.
일부 실시형태들에서, 디바이스는 통상의 성냥갑 만큼 작을 수도 있다. 다른 실시형태들에서, 디바이스는 모바일 디바이스, 예를 들어 스마트폰에 내장될 수도 있다. 이로써, 디바이스의 최소 사이즈 및 무게는 현재 솔루션들보다 이점들을 제공한다. 디바이스는 표면 상으로 초음파 빔을 조사하고 사용자가 표면과의 터치를 개시했는지 여부를 결정하기 위해 조사된 빔에서의 차이들을 검출할 수도 있다. 사용자는 임의의 사용자 익스트리미티 (extrimity) 를 사용하여 표면을 터치할 수도 있다. 조사된 빔은 어플리케이션에 의존하여 사이즈가 달라질 수도 있고, 빔의 사이즈는 또한 조사된 초음파 빔의 파동 주파수 및 강도에 기초하여 미세 조정될 수도 있다. 추가로, 빔은 메디컬 어플리케이션들에서 사용된 것보다 더 낮은 해상도의 것일 수도 있어서, 더 낮은 비용의 어플리케이션들 및/또는 더 빠른 프로세싱 시간을 허용한다.
초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 방법 및 장치가 개시된다. 다음의 기재에 있어서, 많은 특정 상세들은 본 개시물의 철저한 이해를 제공하기 위해서 특정 컴포넌트들, 회로들, 및 프로세스들의 예들로서 기술된다. 또한, 다음의 기재에 있어서 그리고 설명의 목적으로, 특정 명명법은 본 실시형태들의 철저한 이해를 제공하기 위해 기술된다. 하지만, 본 실시형태들을 실시하기 위해 이들 특정 상세들이 필요하지 않을 수도 있다는 것은 당업자에게 자명할 것이다. 다른 경우들에서, 잘 알려진 회로들 및 디바이스들은 본 개시물을 모호하게 하는 것을 회피하기 위해 블록 다이어그램 형태로 나타낸다. 본 명세서에서 사용된 바와 같이, 용어 "커플링된" 은 회로들의 하나 이상의 개재 컴포넌트들을 통해 접속되거나 또는 직접 접속되는 것을 의미한다. 본 명세서에 기재된 다양한 버스들을 통해 제공된 신호들 중 임의의 것은 다른 신호들과 시간 멀티플렉싱되고 하나 이상의 공통 버스들을 통해 제공될 수도 있다. 부가적으로, 회로 엘리먼트들 또는 소프트웨어 블록들 사이의 상호접속은 버스들로서 또는 단일 신호 라인들로서 나타낼 수도 있다. 버스들의 각각은 대안으로 단일 신호 라인일 수도 있고, 단일 신호 라인들의 각각은 대안으로 버스들일 수도 있으며, 단일 라인 또는 버스는 컴포넌트들 사이의 통신을 위한 무수히 많은 물리적 또는 논리적 메커니즘들 중 어느 하나 이상을 나타낼 수도 있다. 본 실시형태들은 본 명세서에 기재된 특정 예들에 제한되는 것이 아니라 오히려 첨부된 청구항들에 의해 정의된 모든 실시형태들을 포함하는 것으로 해석되어야 한다.
도 1 은 하나 이상의 실시형태들을 통합할 수도 있는 초음파 빔포밍 디바이스 (100) 의 간략화된 블록 다이어그램을 도시한다. 초음파 빔포밍 디바이스 (100) 는 프로세서 (110), 디스플레이 (130), 입력 디바이스 (140), 스피커 (150), 메모리 (160), ADC (120), DAC (121), 빔포머 (180), 비머 (181), 초음파 트랜스듀서 (170), 및 컴퓨터 판독가능 매체 (190) 를 포함한다.
프로세서 (110) 는 초음파 빔포밍 디바이스 (100) 에 대해 명령들을 수행하도록 동작가능한 임의의 범용 프로세서일 수도 있다. 프로세서 (110) 는 디스플레이 (130), 입력 디바이스 (140), 스피커 (150), 메모리 (160), ADC (120), DAC (121), 빔포머 (180), 비머 (181), 초음파 트랜스듀서 (170), 및 컴퓨터 판독가능 매체 (190) 를 포함하여 초음파 빔포밍 디바이스 (100) 의 다른 유닛들에 커플링된다.
디스플레이 (130) 는 사용자에게 정보를 디스플레이하는 임의의 디바이스일 수도 있다. 예들은 LCD 스크린, CRT 모니터, 또는 7세그먼트 디스플레이를 포함할 수도 있다.
입력 디바이스 (140) 는 사용자로부터 입력을 수용하는 임의의 디바이스일 수도 있다. 예들은 키보드, 키패드, 마우스 또는 터치 입력을 포함할 수도 있다.
스피커 (150) 는 사용자에게 사운드를 출력하는 임의의 디바이스일 수도 있다. 예들은 내장 스피커 또는 전기적 오디오 신호에 응답하여 사운드를 생성하는 임의의 다른 디바이스를 포함할 수도 있다.
메모리 (160) 는 임의의 자기, 전자 또는 광학 메모리일 수도 있다. 메모리 (160) 는 2 개의 메모리 모듈들, 모듈 1 (162) 및 모듈 2 (164) 을 포함한다. 메모리 (160) 가 임의의 수의 메모리 모듈들을 포함할 수도 있다는 것을 알 수 있다. 메모리 (160) 의 일 예는 랜덤 액세스 메모리 (DRAM) 일 수도 있다.
컴퓨터 판독가능 매체 (190) 는 임의의 자기, 전자, 광학, 또는 다른 컴퓨터 판독가능 저장 매체일 수도 있다. 컴퓨터 판독가능 저장 매체 (190) 는 초음파 송신 모듈 (192), 에코 검출 모듈 (194), 제스처 해석 모듈 (196), 커맨드 실행 모듈 (198), 및 이미지 변환 모듈 (199) 을 포함한다.
DAC (121) 는 진폭을 나타내는 디지털 숫자를 연속적인 물리량으로 변환하도록 구성된다. 보다 구체적으로, 본 예에 있어서, DAC (121) 는 초음파 신호들의 디지털 표현들을 초음파 신호들의 송신 전에 아날로그 양으로 변환하도록 구성된다. DAC (121) 는 디지털 양의 변환을 초음파 트랜스듀서들 (170)(하기에 기재됨) 에 의한 송신 전에 수행할 수도 있다.
초음파 트랜스듀서 (170) 는 전압을 인간 청력의 정상 범위에 관한 초음파 또는 음파들로 변환한다. 초음파 트랜스듀서 (170) 는 또한 초음파를 전압으로 변환할 수도 있다. 초음파 트랜스듀서 (170) 는 전압이 인가될 때 사이즈를 변화시키는 특성을 갖는 압전 결정들을 포함하는 복수의 트랜스듀서들을 포함할 수도 있으며, 이로써 이들로 하여금 매우 높은 주파수들에서 진동하게 하는 교류 전류를 이들에 걸쳐서 인가함으로써, 매우 높은 주파수 음파들을 생성한다. 초음파 트랜스듀서 (170) 는 어레이로 배열될 수도 있다. 이 어레이는 이로부터 송신되는 초음파들이 특정 각도들에서 보강 간섭을 경험하는 한편 다른 것들은 상쇄 간섭을 경험하는 방식으로 배열될 수도 있다.
초음파 송신 모듈 (192) 은 디바이스 (100) 상의 초음파 송신들을 조절하도록 구성된다. 초음파 송신 모듈 (192) 은 초음파 트랜스듀서 (170) 와 간섭하고 초음파 송신 모듈 (192) 을 송신 모드 또는 수신 모드에 배치할 수도 있다. 송신 모드에서, 초음파 트랜스듀서들 (170) 은 초음파들을 송신할 수도 있다. 수신 모드에서, 초음파 트랜스듀서들 (170) 은 초음파 에코들을 수신할 수도 있다. 초음파 송신 모듈 (192) 은 수신 및 송신 모드들 사이에서 온 더 플라이 (on the fly) 로 초음파 트랜스듀서 (170) 를 변경할 수도 있다. 초음파 트랜스듀서 (170) 는 또한 초음파 에코들로부터의 피드백 전압들을 ADC (하기에 기재됨) 로 패스할 수도 있다.
비머 (181) 는 초음파들을 방향성으로 송신하도록 구성된다. 일부 실시형태들에서, 비머 (180) 는 초음파 트랜스듀서들 (170) 의 어레이에 커플링될 수도 있다. 비머는 또한 초음파 송신 모듈 (192) 에 통신가능하게 커플링될 수도 있다. 비머 (181) 는 초음파 트랜스듀서들 (170) 의 제어 타이밍들을 생성할 수도 있다. 즉, 초음파 트랜스듀서들 (170) 의 트리거 타이밍의 각각은 비머 (181) 에 의해 제어될 수도 있다. 비머는 또한 각각의 초음파 트랜스듀서 (170) 로부터의 출력의 송신 강도를 제어할 수도 있다. 각각의 초음파 트랜스듀서 (170) 의 타이밍에 기초하여, 송신된 초음파는 제어된 방향을 갖는 사운드 "빔" 을 형성할 수도 있다. 송신할 때 초음파 트랜스듀서들 (170) 의 어레이의 방향성을 변경하기 위해, 파면에서 보강 및 상쇄 간섭의 패턴을 생성하도록, 비머 (181) 가 각각의 트랜스듀서 (170) 에서 신호의 상대적 진폭 및 위상을 제어한다. 비머 (181) 는, 표면에 평행하거나 표면을 따라 (예를 들어, 테이블 윗면), 초음파 트랜스듀서들 (170) 을 통해, 파동들을 송신하며, 표면 검출을 위한 로직을 포함할 수도 있다. 비머 (181) 는 초음파들을 수정하기 위한 능력을 또한 포함할 수도 있다. 예를 들어, 초음파들의 파장 또는 강도가 수정될 필요가 있는 경우, 비머 (181) 는 초음파 트랜스듀서들 (170) 을 제어하기 위한 로직을 포함할 수도 있다.
ADC (120) 는 연속적인 물리량을 양의 진폭을 나타내는 디지털 숫자로 변환하도록 구성된다. 보다 구체적으로, 본 예에 있어서, ADC (120) 는 수신된 초음파 에코들을 디지털 표현으로 변환하도록 구성된다. 디지털 표현은 그 후 본 명세서에 기재된 제스처 인식 기법들을 위해 사용될 수도 있다.
빔포머 (180) 는 오브젝트에서 반사된 초음파들로부터 수신된 초음파 에코들을 프로세싱하도록 구성된다. 빔포머는 ADC (120) 에 의한 디지털 표현으로의 변환 후, 초음파 에코들을 분석할 수도 있다. 여기서, 어레이에서 있어서 상이한 트랜스듀서들로부터의 정보는 초음파 에코들의 예상된 패턴이 우선적으로 관측되는 방식으로 결합된다. 빔포머 (180) 는 초음파 에코들의 디지털 표현을 강도/주파수 1-D 어레이로 재구성할 수도 있다. 다중 1-D 어레이들의 결합은 디바이스 (100) 에 의해 프로세싱될 2D-어레이를 생성하기 위해 사용될 수도 있다.
에코 검출 모듈 (194) 은 초음파 에코를 검출하도록 구성된다. 초음파 에코는 초음파 송신 모듈 (192) 에 의해 생성된 초음파들의 상태가 되는 오브젝트에서의 반사에 의해 생성될 수도 있다. 오브젝트는 손가락 또는 팔과 같은 사용자 익스트리미티일 수도 있다. 에코 검출 모듈 (194) 은, 상술한 바와 같이, ADC (120) 와 인터페이스하여 수신된 초음파 에코들을 디지털 표현으로 변환할 수도 있다. 에코 검출 모듈 (194) 은 또한 상관없는 수신된 초음파 에코들을 걸러낼 수도 있다.
제스처 해석 모듈 (196) 은 에코 검출 모듈 (194) 에 의해 검출된 수신된 초음파 에코로부터 제스처를 해석하도록 구성된다. 에코 검출 모듈 (194) 이 수신하고, 결국 ADC (120) 가 초음파 에코들을 디지털 표현으로 변환하는 초음파 에코들에 기초하여, 제스처 해석 모듈 (196) 은 사용자에 의해 형성된 제스처를 재생할 수도 있다. 예를 들어, 사용자가 그들의 인덱스 손가락으로 "스와이프 (swipe) 제스처를 수행하는 경우, 제스처 해석 모듈 (196) 은 초음파 에코들의 디지털 표현에 기초하여 이 스와이프를 재생하고 해석할 수도 있다.
커맨드 실행 모듈 (198) 은 제스처 해석 모듈 (196) 에 의해 해석된 제스처에 기초하여 시스템 상에서 커맨드를 실행하도록 구성된다. 일부 실시형태들에서, 디바이스 (100) 는 외부 시스템 상에서 커맨드를 실행하기 위해 표면 상의 사용자 입력 (제스처를 수행하는 것에 의해 달성됨) 을 해석하기 위한 목적으로 외부 시스템에 커플링될 수도 있다. 외부 시스템은, 예를 들어 텔레비전 세트, 게이밍 콘솔, 컴퓨터 시스템, 또는 사용자 입력을 수신할 수 있는 임의의 다른 시스템일 수도 있다. 한정이 아닌 일 예에 있어서, 사용자는 초음파 빔포밍 디바이스 (100) 에 의해 생성된 가상 제스처 표면을 통해 "스와이프" 를 수행할 수도 있다. "스와이프" 가 제스처 해석 모듈에 의해 인식되고 해석되면, 커맨드 실행 모듈 (198) 은 인식되고 해석된 스와이프를 외부 시스템에 대한 고유 (native) 커맨드로 번역할 수도 있다. 예를 들어, 사용자가 좌측에서 우측으로의 "스와이프" 인 것 같은 경우, 커맨드 실행 모듈 (198) 은 그 제스처를 컴퓨팅 시스템 내의 웹 브라우저 어플리케이션에 대한 다음 페이지 커맨드로 해석할 수도 있다. 일부 실시형태들에서, 커맨드 실행 모듈 (198) 은 외부 시스템에 대한 고유 커맨드들의 가용 리스트를 취출하기 위해 데이터 베이스 (미도시) 와 인터페이스할 수도 있다.
이미지 변환 모듈 (199) 은 제스처들의 시리즈를 디지털 파일 포맷으로 변환하도록 구성된다. 디지털 파일 포맷은, 예를 들어 PDF (Portable Document Format), JPEG, PNG 등일 수도 있다. 초음파 빔포밍 디바이스 (100) 내의 메모리 (160) 는 디지털 파일 포맷으로의 변환 전에 제스처들의 시리즈를 저장하기 위해 사용될 수도 있다.
도 2a 는 초음파 빔포밍 디바이스 (100) 에 커플링된 외부 시스템 (210) 을 포함하는 제스처 환경 (200) 을 도시한다. 이러한 특정 예에 있어서, 외부 시스템 (210) 은 텔레비전 또는 다른 디스플레이 디바이스이다. 초음파 빔포밍 디바이스 (100) 는 유선 또는 무선 접속 중 어느 하나에 의해 외부 시스템 (210) 에 커플링될 수도 있다. 유선 접속들의 일부 예들은, USB (Universal Serial Bus), FireWire, Thunderbolt 등을 포함하지만 이에 제한되지 않는다. 무선 접속들의 일부 예들은 Wi-Fi, Bluetooth, RF 등을 포함하지만 이에 제한되지 않는다. 도 2a 는 또한 표면 (220) 을 포함한다. 표면 (220) 은 테이블 윗면, 카운터톱, 바닥, 벽 등을 포함하는 임의의 평탄한 표면들을 포함할 수도 있지만, 이에 제한되지 않는다. 표면 (220) 은 또한 이동가능한 오브젝트들, 예컨대 잡지들, 노트패드들, 또는 평탄한 표면을 갖는 임의의 다른 이동가능한 오브젝트를 포함할 수도 있다.
상술한 바와 같이, 초음파 빔포밍 디바이스 (100) 는 초음파들 (240) 을 조사하고 초음파 에코들 (250) 을 수신하도록 구성된다. 초음파 에코들 (250) 은 사용자 익스트리미티와 같은 오브젝트에서 반사될 수도 있다. 이 예에서, 사용자 익스트리미티는 사용자의 손 (260) 이다. 구체적으로, 초음파 에코들 (250) 은 사용자의 손 (260) 의 인덱스 손가락 (262) 으로부터 반사한다. 초음파 에코들 (250) 은, 상술한 바와 같이 에코 검출 모듈 (194) 을 사용하여 초음파 빔포밍 디바이스 (100) 에 의해 검출될 수도 있다.
초음파 빔포밍 디바이스 (100) 는 표면 (220) 에 평행한 또는 표면 (220) 을 따라 초음파들 (240) 을 조사하는 것에 의해 가상 제스처 표면 (230) 을 생성하도록 구성될 수도 있다. 가상 제스처 표면 (230) 은, 초음파들이 조사되는 방식에 의존하여 표면 (220) 의 특정 영역 내에서 또는 전체 표면 (220) 상에 형성될 수도 있다. 일부 실시형태들에서, 초음파 빔포밍 디바이스 (100) 는 빔포밍 기법들을 사용하여 초음파들 (240) 을 조사할 수도 있다. 그러한 기법은 초음파 빔포밍 디바이스 (100) 가 표면 (220) 을 향해 조사되는 초음파들 (240) 의 방향을 제어하는 것을 허용할 수도 있다. 일부 실시형태들에서, 초음파 빔포밍 디바이스 (100) 는 임의의 수동 교정 없이 자동으로 표면 (220) 을 검출하고 그 표면을 향해 초음파들 (240) 을 조사하기 위한 로직을 포함할 수도 있다. 초음파 빔포밍 디바이스 (100) 는 상술한 바와 같이, 초음파 송신 모듈 (192), 초음파 트랜스듀서 (170), 및 비머 (181) 를 사용하여 초음파들을 조사할 수도 있다. 일부 실시형태들에서, 조사된 초음파들 (240) 과 표면 (220) 사이의 거리 차이는 5mm 이하일 수도 있다.
상술한 바와 같이, 초음파 빔포밍 디바이스 (100) 는 사용자 익스트리미티에 의해 수행된 제스처를 인식하고 해석할 수도 있다. 예를 들어, 초음파 빔포밍 디바이스 (100) 는 사용자의 손 (260) 의 손가락 (262) 에 의해 수행된 제스처를 인식하고 해석할 수도 있다. 인식하고 해석하는 것은, 상술한 바와 같이 제스처 해석 모듈 (196) 을 사용하여 달성될 수도 있다. 제스처 해석 모듈 (196) 은, 초음파 (240) 가 표면 (220) 을 따라 조사 되었을 때와 초음파 에코 (250) 가 초음파 빔포밍 디바이스 (100) 에 의해 수신되었을 때의 사이에서 시간의 차이를 결정할 수도 있다. 시간의 결정된 차이로부터, 초음파 빔포밍 디바이스 (100) 로부터 사용자의 손가락 (262) 의 거리가 결정될 수도 있다. 부가적으로, 초음파 에코 (250) 의 각도 및 방향은 제스처 해석 모듈 (196) 에 의해 또한 결정될 수도 있다.
일부 실시형태들에서, 초음파들 (240) 은 빔 방향을 따라 초음파 트랜스듀서들 (170) 로부터 멀리 이동하는 단시간 펄스들이다. 초음파들 (240) 이 오브젝트와 접촉하는 상태가 될 때, 초음파 에코들은 뒤로 바운스하고 초음파 트랜스듀서들 (170) 을 향해 이동할 것이다. 초음파들 (240) 로부터의 에너지의 일부는 오브젝트를 통과하고 그 경로 상에서 지속된다. 그러한 초음파들 (240) 이 다른 오브젝트와 접촉하는 상태가 될 때, 더 많은 초음파 에코들이 뒤로 바운싱하고 초음파 트랜스듀서들 (170) 을 향해 이동할 것이다. 따라서, 초음파들의 송신과 초음파 에코들의 수신된 초음파 에코 사이의 시간을 측정함으로써, 디바이스 (100) 로부터 오브젝트로의 거리가 계산될 수도 있다. 더 많은 초음파들 (240) 이 다른 방향 (통상적으로 마지막 송신으로부터 몇 도) 으로 송신될 수도 있고, 또한 초음파 에코들이 이들 초음파들 (240) 로부터 수신된다. 일부 실시형태들에서, 수백 개의 초음파들이 송신될 수도 있고, 수백 개의 초음파 에코들이 수신될 수도 있으며, 이는 결국 2-D 스캐닝 영역을 형성할 수도 있다. 일부 실시형태들에서, 다중 초음파들 (240) 은 스캐닝 레이트의 속도를 동시에 증가시키기 위해서 상이한 방향들에서 송신될 수도 있다.
제스처 해석 모듈 (196) 에 의해 제스처가 인식되고 해석되면, 초음파 빔포밍 디바이스 (100) 는 실행을 위한 커맨드를 외부 시스템 (210) 에 중계할 수도 있다. 커맨드는 인식되고 해석된 제스처에 기초할 수도 있다. 예를 들어, 인식된 제스처가 가상 제스처 표면 (230) 상에서 좌측-우측 모션으로 스와이핑하는 손가락 (262) 인 경우, 커맨드는 외부 시스템 (210) 이 사용자 인터페이스 내에서 다음 페이지로 플립하는 것일 수도 있다. 일부 실시형태들에서, 제스처 환경 (200) 은 커맨드 데이터베이스 (270) 를 포함할 수도 있다. 커맨드 데이터베이스 (270) 는 외부 시스템 (210) 에 대한 고유 커맨드로 제스처를 매핑하는 복수의 커맨드 매핑들을 저장할 수도 있다. 제스처를 인식하고 해석하면, 초음파 빔포밍 디바이스 (100) 는 제스처에 의해 나타나는 외부 시스템 (210) 에 대한 고유 커맨드를 결정하기 위해서 인식되고 해석된 제스처로 커맨드 데이터베이스 (270) 에 질의할 수도 있다. 일부 실시형태들에서, 고유 커맨드는 위에서 언급된 유선 또는 무선 접속들 중 하나를 사용하여 초음파 빔포밍 디바이스 (100) 로부터 외부 디바이스 (210) 로 중계될 수도 있다.
하나의 손가락 (262) 이 가상 제스처 표면 (230) 상에서 제스처를 수행하는 것이 나타나 있지만, 임의의 수의 손가락들 또는 다른 사용자 익스트리미티들이 가상 제스처 표면 (230) 상에서 제스처를 수행하기 위해 사용될 수도 있다는 것을 알 수 있다. 이러한 멀티 터치 기능은 외부 시스템 (210) 상에 커맨드들의 넓은 어레이를 실행하기 위해 동작가능할 수도 있다.
도 2b 는 제스처 환경 (200) 에서 멀티-터치 제스처를 수행하는 것을 도시한다. 제스처 환경은 초음파 빔포밍 디바이스 (100) 에 커플링된 외부 시스템 (210) 을 포함한다. 도 2b 는 사용자의 손 (260) 이 그의/그녀의 손가락들 (261) 로 멀티-터치 "핀칭 (pinching)" 제스처를 수행하는 것을 제외하고 도 2a 와 유사하다. 핀칭 제스처는 사용자가 가상 제스처 표면 (230) 상에 함께 그의/그녀의 2 개의 손가락들 (262) 을 놓는 것을 수반한다. 핀칭 제스처는 외부 시스템 (210) 상에 컨텐츠의 줌을 위한 사용자 커맨드를 나타낼 수도 있다.
제 1 시간에서, 디바이스 (100) 는 사용자의 손가락들 (262) 을 향해 초음파들 (240) 의 시리즈를 조사할 수도 있다. 사용자가 그의/그녀의 손가락들로 핀칭 모션 (280) 을 수행할 때, 디바이스 (100) 는 더 많은 초음파들 (240) 을 조사하는 것을 계속할 수도 있는 한편, 동시에 사용자의 손가락들 (262) 에서 반사된 초음파 에코들 (250) 을 수신한다. 상술한 바와 같이, 수신된 초음파 에코들 (250) 을 분석하는 것으로부터, 디바이스는 사용자의 손가락들 (262) 로부터 전체 핀칭 모션 (280) 을 인식할 수도 있다.
제스처가 제스처 해석 모듈 (196) 에 의해 인식되고 해석되면, 초음파 빔포밍 디바이스 (100) 는 외부 시스템 (210) 에 실행을 위한 커맨드를 중계할 수도 있다. 커맨드는 핀칭 모션 (280) 으로부터 인식되고 해석된 제스처에 기초할 수도 있다.
도 3 은 일부 실시형태들에 따른 초음파 빔포밍 디바이스 (100) 의 일 실시형태를 도시한다. 도 1 을 참조하여 기재된 바와 같이, 초음파 빔포밍 디바이스 (100) 는 빔포머 (180), 비머 (181), 하나 이상의 아날로그-디지털 변환기들 (120), 초음파 송신 모듈 (192), 및 하나 이상의 초음파 트랜스듀서들 (170) 을 포함한다.
초음파 빔포밍 디바이스는 초음파들 (240) 을 전송하고 초음파 에코들 (250) 을 수신하도록 구성된다. 초음파 에코들 (250) 은 오브젝트로부터의 초음파의 반사일 수도 있다. 일부 실시형태들에서, 오브젝트는 사용자 익스트리미티일 수도 있다. 복수의 초음파들 (240) 은 초음파 빔포밍 디바이스 (100) 의 초음파 트랜스듀서들 (170) 에 의해 조사된다. 초음파 트랜스듀서들 (170) 의 배열은 초음파들 (240) 의 각도, 주파수 및 강도를 부분적으로 결정할 수도 있다. 일부 실시형태들에서, 초음파들 (240) 은 표면을 따라 조사된다.
복수의 초음파들 (240) 은 표면 (220) 상부에 "가상" 제스처 표면 (230) 을 형성할 수도 있으며, 사용자는 예를 들어 사용자 익스트리미티를 사용하여 제스처들을 수행할 수도 있다. 일부 실시형태들에서, 초음파들 (240) 은 표면으로부터 5mm 이하의 거리로 있을 수도 있다.
상술한 바와 같이, 초음파 송신 모듈 (192) 는 초음파 트랜스듀서 어레이들 (170) 을 통해 초음파들을 송신하도록 구성된다. 초음파 트랜스듀서 어레이들 (170) 은 또한 초음파 에코들 (250) 을 수신할 수도 있다. 초음파 송신 모듈 (192) 은 또한 하나 이상의 ADC들 (120) 에 커플링될 수도 있으며, 결국 빔포머 (180) 에 커플링된다. 하나 이상의 ADC들 (120) 은 수신된 초음파 에코 (250) 을 취하여 수신된 에코 (250) 의 아날로그 신호 표현을 디지털 표현으로 변환할 수도 있다. ADC들은 빔포머 (180) 에 커플링될 수도 있으며, 빔포머 (180) 는 하나 이상의 ADC들 (120) 로부터 수신된 초음파 에코 (250) 의 디지털 표현을 수신하도록 구성될 수도 있다. 수신할 때, 어레이에 있어서 상이한 트랜스듀서들 (170) 로부터의 정보는, 초음파들의 예상된 패턴이 우선적으로 관측되는 방식으로 결합된다.
초음파들은 상술한 바와 같이 비머 (181) 를 사용하여 송신될 수도 있다. 초음파 송신 모듈 (192) 은 표면 (예를 들어, 테이블 윗면) 을 따라 파동들을 송신할 수도 있고 표면 검출을 위한 로직을 포함할 수도 있다. 비머 (181) 는 또한 초음파 트랜스듀서들 (170) 을 통해 송신된 초음파들을 수정하기 위한 능력을 포함할 수도 있다. 예를 들어, 초음파들의 파장 또는 강도가 수정될 필요가 있는 경우, 비머 (181) 는 초음파 트랜스듀서들 (170) 의 거동을 제어하기 위한 로직을 포함할 수도 있다.
일부 실시형태들에 있어서, 초음파들 (240) 은 가상 제스처 표면 (230) 이 초음파들 (240) 의 "전면적인 스캔 (sweeping scan)" 에 의해 생성되도록 표면 (220) 을 따라 조사될 수도 있다. 즉, 각각의 초음파 트랜스듀서 (170) 는 원 바이 원 시퀀스로 초음파 (240) 을 조사할 수도 있다. 환언하면, 초음파 트랜스듀서들 (170) 의 어레이는 소정의 타이밍으로 각각의 초음파 트랜스듀서 (170) 를 트리거하고 제어된 방향으로 초음파 (빔) 을 조사하도록 구성된다. 위에서 언급된 바와 같이, 비머 (181) 는 초음파 트랜스듀서들 (170) 의 타이밍을 제어할 수도 있다. 이로써, 초음파들 (240) 은 사용자에 의한 제스처 입력을 검출하도록 표면 (220) 에 걸쳐 효과적으로 스캔할 수도 있다.
도 4 는 일부 실시형태들에 따른, 화이트보드 (410) 를 따라 초음파들 (240) 의 프로젝션을 도시한다. 상술한 바와 같이, 이미지 변환 모듈 (199) 은 제스처들의 시리즈를 디지털 파일 포맷으로 변환하도록 구성된다. 디지털 파일 포맷은 예를 들어, PDF (Portable Document Format), JPEG, PNG 등일 수도 있다. 초음파 빔포밍 디바이스 (100) 내의 메모리 (160) 는 디지털 파일 포맷으로의 변환 이전에 제스처들의 시리즈를 저장하기 위해 사용될 수도 있다.
초음파 빔포밍 디바이스 (100) 는 화이트보드 (410) 를 따라 다수의 초음파들 (240) 을 조사할 수도 있다. 일부 실시형태들에서, 초음파 빔포밍 디바이스 (100) 는 초음파들 (240) 이 화이트보드 (410) 의 표면을 따라 하향으로 조사될 수도 있도록 화이트보드 (410) 위에 위치될 수도 있다. 하지만, 초음파 빔포밍 디바이스 (100) 는 화이트보드 (410) 에 대해 임의의 포지션에 배치될 수도 있다는 것을 알 수 있다.
초음파들 (240) 은 화이트보드 (410) 를 따라 오브젝트에서 반사하고 초음파 에코들 (250) 을 초음파 빔포밍 디바이스 (100) 를 향해 반사할 수도 있다. 일부 실시형태들에서, 오브젝트는 필기 도구를 유지하는 사용자 익스트리미티일 수도 있다. 사용자는 필기 도구로 화이트보드 (410) 상에 캐릭터들을 드로잉할 수도 있고 초음파 빔포밍 디바이스 (100) 로 리턴하는 초음파 에코들 (250)(사용자 익스트리미티 또는 필기 도구로부터의 반사임) 은, 상술한 바와 같은 방법들을 사용하여, 사용자에 의해 수행되는 손 모션들 또는 필기 도구 모션들을 표시할 수도 있다. 사용자가 화이트보드 (410) 로부터 필기 도구를 들어올릴 때, 초음파들 (240) 은, 사용자가 화이트보드 (410) 상에 임의의 캐릭터들을 드로잉하는 프로세스에 있지 않는 것을 표시하는 임의의 오브젝트에 의해 블록킹되지 않을 것이다. 일부 실시형태들에서, 초음파 빔포밍 디바이스 (100) 는 초음파 빔포밍 디바이스 (100) 에 로컬인 메모리 (160) 에 결정된 사용자 모션들의 시리즈를 저장할 수도 있다.
결정된 사용자 모션들의 저장된 시리즈들은 위의 예들로서 주어진 것들과 유사한 디지털 파일 포맷으로 변환될 수도 있다. 일부 실시형태들에서, 결정된 사용자 모션들의 시리즈는 검출된 사용자 모션들을 메모리 (160) 에 저장하지 않으면서 "온 더 플라이" 로 디지털 파일 포맷으로 변환될 수도 있다.
예를 들어, 도 4 에서, 사용자는 텍스트 "재빠른 갈색 여우가 게으른 개를 뛰어넘는다" 를 펜을 사용하여 화이트보드 (410) 에 드로잉할 수도 있다. 초음파 빔포밍 디바이스 (100) 는 상술한 바와 같이 초음파들 (240) 로 화이트보드 (410) 의 표면을 스캔할 수도 있다. 사용자의 손 또는 펜과 접촉하는 상태가 되는 임의의 초음파들 (240) 은 초음파 빔포밍 디바이스 (100) 에 초음파 에코 (250) 를 반사할 수도 있다. 초음파 빔포밍 디바이스 (100) 는 수신된 초음파 에코들 (250) 을 기록하고 이로부터 화이트보드 (410) 상에 사용자에 의해 수행된 드로잉 스트로크들을 결정할 수도 있다. 초음파 빔포밍 디바이스 (100) 는, "재빠른 갈색 여우가 게으른 개를 뛰어넘는다" 를 나타내는, 결정된 드로잉 스트로크들을 메모리 (160) 에 저장할 수도 있다. 드로잉 스트로크들은 그 후 PDF 파일과 같은 디지털 파일 포맷으로 변환될 수도 있다.
복수의 필기 도구들은 또한 화이트보드 (410) 상에 드로잉하기 위해 사용자에 의해 사용될 수도 있다. 일부 실시형태들에서, 사용자는 또한 화이트보드에 임의의 종류의 잉크를 실제로 전사하지 않으면서 화이트보드 (410) 상에 드로잉 모션들을 수행하기 위해 임의의 다른 오브젝트를 사용할 수도 있다. 예를 들어, 사용자는 화이트보드 (410) 상에 드로잉을 한정하기 위해 스타일러스 또는 다른 오브젝트를 사용할 수도 있다. 사용자의 스트로크들의 모션은 초음파 빔포밍 디바이스 (100) 에 의해 캡처되고 디지털 포맷으로 변환될 수도 있다.
도 5 는 초음파 빔포밍을 사용하여 멀티-터치 제스처 검출을 위한 예시적인 동작을 도시하는 예시적인 플로우챠트 (500) 이다. 블록 (502) 에서, 초음파는 표면에 평행하게 조사되고, 초음파는 초음파 빔포밍을 사용하여 조사된다. 일부 실시형태들에서, 조사하는 것은 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 것을 더 포함한다. 2-D 제스처 스캐닝 영역은 초음파의 주파수에 적어도 부분적으로 기초하여 정의될 수도 있다. 일부 실시형태들에서, 초음파들은 표면을 따라 5mm 이하의 거리로 조사된다.
예를 들어, 도 2a 에서, 초음파 빔포밍 디바이스는 표면에 평행한 복수의 초음파들을 조사한다. 조사된 초음파들은 가상 제스처 표면, 예를 들어 2-D 제스처 스캐닝 영역을 표면 상에 생성한다. 가상 제스처 표면은 외부 시스템으로 제스처 입력을 수행하기 위해 사용자에 의해 사용될 수도 있다.
블록 (504) 에서, 초음파 에코는 표면과 접촉하는 오브젝트로부터 수신된다. 일부 실시형태들에서, 오브젝트는 사용자 익스트리미티, 예를 들어 손 또는 팔을 포함할 수도 있다. 예를 들어, 도 2a 에서, 사용자의 손의 사용자의 손가락이 가상 제스처 표면과 접촉한다. 표면을 따라 조사된 초음파는 사용자의 손가락과 접촉하는 상태가 되고 초음파 빔포밍 디바이스를 향해 다시 초음파 에코들을 반사할 수도 있다.
블록 (506) 에서, 제스처는 수신된 초음파 에코에 적어도 부분적으로 기초하여 해석된다. 제스처는 외부 시스템에 중계하기 위해 커맨드를 결정하도록 해석될 수도 있다. 커맨드는 외부 시스템에 대한 고유 커맨드들로의 제스처들의 매핑을 포함하는 커맨드 데이터베이스에 질의하는 것에 의해 결정될 수도 있다. 예를 들어, 도 2a 에서, 초음파 빔포밍 디바이스는 수신된 초음파 에코들에 기초하여 사용자의 손가락에 의해 수행되는 제스처를 해석할 수도 있다. 초음파 빔포밍 디바이스는 그 후 제스처와 연관된 커맨드를 결정하기 위해 해석된 제스처로 커맨드 데이터베이스에 질의할 수도 있다. 커맨드는 그 후 실행을 위해 외부 시스템에 중계될 수도 있다.
일부 실시형태들에서, 방법은 또한 해석된 제스처를 디지털 이미지로 변환하는 것을 포함하며, 디지털 이미지는 해석된 제스처의 표현이다. 예를 들어, 사용자는 화이트보드 상에 드로잉하는 방식으로 제스처들을 수행할 수도 있다. 초음파 빔포밍 디바이스는 수신된 초음파 에코들에 기초하여 제스처 움직임들을 기록하고 이들을 메모리에 저장할 수도 있다. 메모리에 기록된 제스처 움직임들은 그 후 제스처 움직임들을 표현하는, 디지털 파일 포맷, 예를 들어 PDF 파일로 변환될 수도 있다.
도 6 은 하나 이상의 실시형태들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 도시한다. 도 6 에 도시된 바와 같은 컴퓨터 시스템은 상술한 컴퓨터화된 디바이스의 부분으로서 통합될 수도 있다. 예를 들어, 컴퓨터 시스템 (600) 은 텔레비전, 컴퓨팅 디바이스, 서버, 데스크탑, 워크스테이션, 자동차에서의 제어 또는 상호작용 시스템, 테블릿, 노트북 또는 임의의 다른 적절한 컴퓨팅 시스템의 컴포넌트들의 일부를 나타낼 수 있다. 컴퓨팅 디바이스는 이미지 캡처 디바이스 또는 입력 센서 유닛 및 사용자 출력 디바이스를 갖는 임의의 컴퓨팅 디바이스일 수도 있다. 이미지 캡처 디바이스 또는 입력 센서리 유닛은 카메라 디바이스일 수도 있다. 사용자 출력 디바이스는 디스플레이 유닛일 수도 있다. 컴퓨팅 디바이스의 예들은 비디오 게임 콘솔들, 테블릿들, 스마트 폰들 및 임의의 다른 핸드헬드 디바이스들을 포함하지만 이에 제한되지 않는다. 도 6 은 본 명세서에 기재된 바와 같이, 다양한 실시형태들에 의해 제공된 방법들을 수행할 수 있고, 및/또는 컴퓨터 시스템, 원력 키오스크/단말기, 포인트-오브-세일 디바이스, 자동차에서의 텔레포닉 또는 네비게이션 또는 멀티미디어 인터페이스, 컴퓨팅 디바이스, 셋톱 박스, 테이블 컴퓨터 및/또는 컴퓨터 시스템으로서 기능할 수 있는 컴퓨터 시스템 (600) 의 일 예의 개략적인 도시를 제공한다. 도 6 은 단지 다양한 컴포넌트들의 일반화된 도시를 제공하도록 의미되며, 이들 중 어느 것 또는 모두는 제적절하게 사용될 수도 있다. 이에 따라, 도 6 은 상대적으로 분리되거나 상대적으로 더 많이 통합되는 방식으로 얼마나 많은 개별 시스템 엘리먼트들이 구현될 수도 있는지를 대략적으로 도시한다. 일부 실시형태들에서, 컴퓨터 시스템 (600) 은 도 2a 에서 외부 시스템 (210) 의 기능을 구현할 수도 있다.
컴퓨터 시스템 (600) 은, 버스 (602) 를 통해 전기적으로 커플링될 수 있는 (또는 그렇지 않으면 적절히 통신할 수도 있는) 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, 하나 이상의 범용 프로세서들 및/또는 (디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등과 같은) 하나 이상의 특수-목적 프로세서들을 제한 없이 포함하는 하나 이상의 프로세서들 (604), 하나 이상의 카메라들, 센서들, 마우스, 키보드, 초음파 또는 다른 사운드들을 검출하도록 구성된 마이크로폰 등을 제한 없이 포함할 수 있는 하나 이상의 입력 디바이스들 (608), 및 발명의 실시형태들에서 사용된 디바이스와 같은 디스플레이 유닛, 프린터 등을 제한 없이 포함할 수 있는 하나 이상의 출력 디바이스들 (610) 을 포함할 수도 있다.
발명의 실시형태들의 일부 구현들에서, 다양한 입력 디바이스들 (608) 및 출력 디바이스들 (610) 은 디스플레이 디바이스들, 테이블들, 바닥들, 벽들 및 윈도우 스크린들과 같은 인터페이스들 내부에 임베딩될 수도 있다. 또한, 프로세서들에 커플링된 입력 디바이스들 (608) 및 출력 디바이스들 (610) 은 멀티-차원 추적 시스템들을 형성할 수도 있다.
컴퓨터 시스템 (600) 은, 로컬 및/또는 네트워크 액세스가능 스토리지를 제한 없이 포함할 수 있거나 및/또는 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 프로그래밍가능, 플래시-업데이트가능 등이 가능한 판독 전용 메모리 ("ROM") 및/또는 랜덤 액세스 메모리 ("RAM") 와 같은 고체-상태 저장 디바이스를 제한 없이 포함할 수 있는 하나 이상의 비일시적 저장 디바이스들 (606) 을 더 포함 (및/또는 그와 통신) 할 수도 있다. 이러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한 없이 포함하는 임의의 적절한 데이터 스토리지를 구현하도록 구성될 수도 있다.
컴퓨터 시스템 (600) 은, 모뎀, 네트워크 카드 (무선 또는 유선), 적외선 통신 디바이스, (Bluetooth™ 디바이스, 802.11 디바이스, Wi-Fi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등과 같은) 무선 통신 디바이스 및/또는 칩셋 등을 제한 없이 포함할 수 있는 통신 서브시스템 (612) 을 또한 포함할 수도 있다. 통신 서브시스템 (612) 은, 데이터가 네트워크, 다른 컴퓨터 시스템들, 및/또는 본 명세서에 기재된 임의의 다른 디바이스들과 교환되게 할 수도 있다. 많은 실시형태들에서, 컴퓨터 시스템 (600) 은 상술된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 비일시적 작업 메모리 (618) 를 더 포함할 것이다.
컴퓨터 시스템 (600) 은 또한, 작업 메모리 (618) 내에 현재 위치되는 것으로서 도시되며, 오퍼레이팅 시스템 (614), 디바이스 드라이버들, 실행가능 라이브러리들, 및/또는 다양한 실시형태들에 의해 제공된 컴퓨터 프로그램들을 포함할 수도 있거나 및/또는 본 명세서에 기재된 설명된 바와 같이 다른 실시형태들에 의해 제공된 방법들을 구현하거나 및/또는 시스템들을 구성하도록 설계될 수도 있는 하나 이상의 어플리케이션 프로그램들 (616) 과 같은 다른 코드를 포함하는 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예로서, 상술된 방법(들) 에 대해 설명된 하나 이상의 절차들은, 컴퓨터 (및/또는 컴퓨터 내의 프로세서) 에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수도 있으며; 그 후에, 일 양태에서, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터 (또는 다른 디바이스) 를 구성 및/또는 적응하는데 사용될 수 있다.
이들 명령들 및/또는 코드의 세트는, 상술된 저장 디바이스(들) (606) 과 같은 컴퓨터 판독가능 저장 매체에 저장될 수도 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템 (600) 과 같은 디바이스 내에 포함될 수도 있다. 다른 실시형태들에서, 저장 매체는, 저장 매체가 명령들/코드가 저장된 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응하는데 사용될 수 있도록, 컴퓨터 시스템과는 별도 (예를 들어, 콤팩트 디스크와 같은 착탈형 매체) 일 수도 있거나, 및/또는 설치 (installation) 패키지에 제공될 수도 있다. 이들 명령들은, 컴퓨터 시스템 (600) 에 의해 실행가능한 실행가능 코드의 형태를 취할 수도 있거나 및/또는 컴퓨터 시스템 (600) 상에서의 (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 사용하여) 컴파일 및/또는 설치시에, 실행가능 코드의 형태를 그 후에 취하는 소스 및/또는 설치가능한 코드의 형태를 취할 수도 있다.
실질적인 변형들이 특정한 요건들에 따라 행해질 수도 있다. 예를 들어, 커스터마이징된 하드웨어가 또한 사용될 수도 있거나, 및/또는 특정 엘리먼트들이 하드웨어, (애플릿들 등과 같은 휴대용 소프트웨어를 포함하는) 소프트웨어, 또는 양자 모두로 구현될 수도 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 접속이 채용될 수도 있다. 일부 실시형태들에서, 컴퓨터 시스템 (600) 의 하나 이상의 엘리먼트들이 생략될 수도 있고 도시된 시스템과 별도로 구현될 수도 있다. 예를 들어, 프로세서 (604) 및/또는 다른 엘리먼트들은 입력 디바이스 (608) 와 별개로 구현될 수도 있다. 일 실시형태에서, 프로세서는 별도로 구현되는 하나 이상의 카메라들로부터 이미지들을 수신하도록 구성된다. 일부 실시형태들에서, 도 6 에 도시된 것들에 부가하여 엘리먼트들이 컴퓨터 시스템 (600) 에 포함될 수도 있다.
일부 실시형태들은, 본 개시물에 따른 방법들을 수행하도록 (컴퓨터 시스템 (600) 과 같은) 컴퓨터 시스템을 채용할 수도 있다. 예를 들어, 설명된 방법들의 절차들 중 일부 또는 전부는, 프로세서 (604) 가 작업 메모리 (618) 에 포함된 (오퍼레이팅 시스템 (614) 및/또는 어플리케이션 프로그램 (616) 과 같은 다른 코드에 포함될 수도 있는) 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여, 컴퓨터 시스템 (600) 에 의해 수행될 수도 있다. 이러한 명령들은, 저장 디바이스(들) (606) 중 하나 이상과 같은 다른 컴퓨터 판독가능 매체로부터 작업 메모리 (618) 로 판독될 수도 있다. 단지 예로서, 작업 메모리 (618) 에 포함된 명령들의 시퀀스들의 실행은 프로세서(들) (604) 로 하여금 본 명세서에 기재된 방법들 중 하나 이상의 절차들을 수행하게 할 수도 있다.
본 명세서에서 사용된 바와 같이, 용어들 "머신 판독가능 매체" 및 "컴퓨터 판독가능 매체" 는, 머신으로 하여금 특정 방식으로 동작하게 하는 데이터를 제공하는 것에 참가하는 임의의 매체를 지칭한다. 컴퓨터 시스템 (600) 을 사용하여 구현된 일부 실시형태에서, 다양한 컴퓨터 판독가능 매체들은, 실행을 위해 프로세서(들) (604) 에 명령들/코드를 제공하는 것에 관여될 수도 있거나 및/또는 이러한 명령들/코드를 (예를 들어, 신호들로서) 저장 및/또는 반송하는데 사용될 수도 있다. 많은 구현들에서, 컴퓨터 판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는, 비휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하지만 이들로 제한되지는 않는 많은 형태들을 취할 수도 있다. 비휘발성 매체들은, 예를 들어, 저장 디바이스(들) (606) 과 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은 작업 메모리 (618) 와 같은 동적 메모리를 제한 없이 포함한다. 송신 매체들은 통신 서브시스템 (612) 의 다양한 컴포넌트들 (및/또는 통신 서브시스템 (612) 이 다른 디바이스들과 통신하는 매체들) 뿐만 아니라, 버스 (602) 를 포함하는 와이어들을 포함하여, 동축 케이블들, 구리 와이어들 및 섬유 광학을 제한없이 포함한다. 따라서, 송신 매체들은 또한 파동들의 형태를 또한 취할 수 있다 (무선, 음향 및/또는 광 파동들, 예컨대 무선 파동 및 적외선 데이터 통신 동안 생성되는 것들을 제한없이 포함함).
물리 및/또는 유형의 컴퓨터 판독가능 매체들의 일반적인 형태들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 페이퍼테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이후 기재되는 바와 같은 캐리어파, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터 판독가능 매체들은, 실행을 위해 프로세서(들) (604) 에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는 것에 관여될 수도 있다. 단지 예로서, 명령들은 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 초기에 반송될 수도 있다. 원격 컴퓨터는 그 동적 메모리에 명령들을 로딩하고 컴퓨터 시스템 (600) 에 의해 수신되고 및/또는 실행되도록 송신 매체를 통한 신호들로서 그 명령들을 전송할 수도 있다. 전자기 신호들, 음향 신호들, 광학 신호들 등의 형태로 있을 수도 있는 이들 신호들은, 발명의 다양한 실시형태들에 따라, 명령들이 인코딩될 수 있는 캐리어 파동들의 모든 예들이다.
통신 서브시스템 (612) (및/또는 그의 컴포넌트들) 은 일반적으로 신호들을 수신할 것이고, 그 후에 버스 (602) 는 프로세서(들) (604) 이 명령들을 취출하고 실행하는 작업 메모리 (618) 로 신호들 (및/또는 신호들에 의해 반송된 데이터, 명령들 등) 을 반송할 수도 있다. 작업 메모리 (618) 에 의해 수신된 명령들은 옵션으로, 프로세서(들) (604) 에 의한 실행 이전 또는 이후에 비일시적 저장 디바이스 (606) 상에 저장될 수도 있다.
상술된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시형태들은, 다양한 절차들 또는 컴포넌트들을 적절히 생략, 대체, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과는 상이한 순서로 수행될 수도 있거나, 및/또는 다양한 스테이지들이 부가, 생략, 및/또는 조합될 수도 있다. 또한, 특정 실시형태들에 대해 설명된 피처들은 다양한 다른 실시형태들에서 조합될 수도 있다. 실시형태들의 상이한 양태들 및 엘리먼트들은 유사한 방식으로 조합될 수도 있다. 또한, 기술이 발전하므로, 엘리먼트들의 대부분은 본 개시물의 범위를 이들 특정 예들로 제한하지 않는 예들이다.
특정한 상세들은 실시형태들의 철저한 이해를 제공하도록 설명에서 제공된다. 그러나, 실시형태들은 이들 특정한 상세들 없이 실시될 수도 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시형태들을 불명료하게 하는 것을 피하기 위해 불필요한 상세 없이 도시되었다. 이러한 설명은 예시적인 실시형태들만을 제공하며, 본 발명의 범위, 적용능력, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 실시형태들의 이전 설명은, 본 발명의 실시형태들을 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 다양한 변화들은, 본 발명의 사상 및 범위를 벗어나는 일 없이 엘리먼트들의 기능 및 배열 (arrangement) 에 행해질 수도 있다.
또한, 일부 실시형태들은 플로우 다이어그램들 또는 블록 다이어그램들로서 도시된 프로세스들로서 설명된다. 각각이 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 동작들의 대부분은 병행하여 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는 도면들에 포함되지 않은 부가적인 단계들을 가질 수도 있다. 또한, 방법들의 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 연관된 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 연관된 태스크들을 수행할 수도 있다. 따라서, 상기 기재에 있어서, 컴퓨터 시스템에 의해 수행되는 것으로서 기재되는 기능들 또는 방법들은, 프로세서, 예를 들어 기능들 또는 방법들을 수행하도록 구성된 프로세서 (604) 에 의해 수행될 수도 있다. 또한, 그러한 기능들 또는 방법들은 하나 이상의 컴퓨터 판독가능 매체 상에 저장된 명령들을 실행하는 프로세서에 의해 수행될 수도 있다.
몇몇 실시형태들을 설명했지만, 다양한 변형들, 대안적인 구성들, 및 등가물들은 본 개시물의 사상을 벗어나는 일 없이 사용될 수도 있다. 예를 들어, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수도 있으며, 여기서 다른 규칙들은 본 발명의 어플리케이션보다 우선하거나 또는 그렇지 않으면 그 어플리케이션을 변형시킬 수도 있다. 또한, 다수의 단계들은, 위의 엘리먼트들이 고려되기 전에, 동안, 또는 그 후에 착수될 수도 있다. 따라서, 위의 설명은 본 개시물의 범위를 제한하지 않는다.
다양한 예들이 기재되었다. 이들 및 다른 예들은 다음의 청구항들의 범이 내에 있다.

Claims (28)

  1. 제스처 검출을 위한 방법으로서,
    표면에 평행한 초음파를 조사하는 단계로서, 상기 초음파는 초음파 빔포밍을 사용하여 조사되는, 상기 초음파를 조사하는 단계;
    상기 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하는 단계; 및
    수신된 상기 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하는 단계를 포함하는, 제스처 검출을 위한 방법.
  2. 제 1 항에 있어서,
    해석된 상기 제스처를 디지털 이미지로 변환하는 단계를 더 포함하고,
    상기 디지털 이미지는 상기 해석된 제스처의 표현인, 제스처 검출을 위한 방법.
  3. 제 1 항에 있어서,
    상기 해석하는 단계에 적어도 부분적으로 기초하여 명령을 실행하는 단계를 더 포함하는, 제스처 검출을 위한 방법.
  4. 제 1 항에 있어서,
    상기 오브젝트는 사용자 익스트리미티 (extremity) 를 포함하는, 제스처 검출을 위한 방법.
  5. 제 1 항에 있어서,
    상기 조사하는 단계는 상기 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 단계를 더 포함하는, 제스처 검출을 위한 방법.
  6. 제 5 항에 있어서,
    상기 2-D 제스처 스캐닝 영역은 조사된 상기 초음파의 주파수 또는 강도에 적어도 부분적으로 기초하여 정의되는, 제스처 검출을 위한 방법.
  7. 제 1 항에 있어서,
    상기 조사하는 단계는, 5mm 이하의 거리로 상기 표면에 평행한 상기 초음파를 조사하는 단계를 더 포함하는, 제스처 검출을 위한 방법.
  8. 제스처 검출을 위한 장치로서,
    초음파 트랜스듀서 어레이로서,
    표면에 평행한 초음파를 조사하는 것으로서, 상기 초음파는 초음파 빔포밍을 사용하여 조사되는, 상기 초음파를 조사하고;
    상기 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하도록 구성된, 상기 초음파 트랜스듀서 어레이; 및
    초음파 트랜스듀서에 커플링되고, 수신된 상기 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하도록 구성된, 프로세서
    를 포함하는, 제스처 검출을 위한 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는 또한, 해석된 상기 제스처를 디지털 이미지로 변환하도록 구성되고,
    상기 디지털 이미지는 상기 해석된 제스처의 표현인, 제스처 검출을 위한 장치.
  10. 제 8 항에 있어서,
    상기 프로세서는 또한, 해석하는 단계에 적어도 부분적으로 기초하여 명령을 실행하도록 구성되는, 제스처 검출을 위한 장치.
  11. 제 8 항에 있어서,
    상기 오브젝트는 사용자 익스트리미티를 포함하는, 제스처 검출을 위한 장치.
  12. 제 8 항에 있어서,
    상기 조사하는 것은, 상기 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 것을 더 포함하는, 제스처 검출을 위한 장치.
  13. 제 12 항에 있어서,
    상기 2-D 제스처 스캐닝 영역은 조사된 상기 초음파의 주파수 또는 강도에 적어도 부분적으로 기초하여 정의되는, 제스처 검출을 위한 장치.
  14. 제 8 항에 있어서,
    상기 조사하는 것은, 5mm 이하의 거리로 상기 표면에 평행한 상기 초음파를 조사하는 것을 더 포함하는, 제스처 검출을 위한 장치.
  15. 제스처 검출을 위한 장치로서,
    표면에 평행한 초음파를 조사하는 수단으로서, 상기 초음파는 초음파 빔포밍을 사용하여 조사되는, 상기 초음파를 조사하는 수단;
    상기 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하는 수단; 및
    수신된 상기 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하는 수단을 포함하는, 제스처 검출을 위한 장치.
  16. 제 15 항에 있어서,
    해석된 상기 제스처를 디지털 이미지로 변환하는 수단을 더 포함하고,
    상기 디지털 이미지는 상기 해석된 제스처의 표현인, 제스처 검출을 위한 장치.
  17. 제 15 항에 있어서,
    해석하는 단계에 적어도 부분적으로 기초하여 명령을 실행하는 것을 더 포함하는, 제스처 검출을 위한 장치.
  18. 제 15 항에 있어서,
    상기 오브젝트는 사용자 익스트리미티를 포함하는, 제스처 검출을 위한 장치.
  19. 제 15 항에 있어서,
    상기 조사하는 것은 상기 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 것을 더 포함하는, 제스처 검출을 위한 장치.
  20. 제 19 항에 있어서,
    상기 2-D 제스처 스캐닝 영역은 조사된 상기 초음파의 주파수 또는 강도에 적어도 부분적으로 기초하여 정의되는, 제스처 검출을 위한 장치.
  21. 제 15 항에 있어서,
    상기 조사하는 것은, 5mm 이하의 거리로 상기 표면에 평행한 상기 초음파를 조사하는 것을 더 포함하는, 제스처 검출을 위한 장치.
  22. 프로세서 판독가능 명령들을 포함하는 프로세서 판독가능 비일시적 매체로서,
    상기 프로세서 판독가능 명령들은 프로세서로 하여금,
    표면에 평행한 초음파를 조사하게 하는 것으로서, 상기 초음파는 초음파 빔포밍을 사용하여 조사되는, 상기 초음파를 조사하게 하고;
    상기 표면과 접촉하는 오브젝트로부터 초음파 에코를 수신하게 하며; 그리고
    수신된 상기 초음파 에코에 적어도 부분적으로 기초하여 제스처를 해석하게 하도록 구성되는, 프로세서 판독가능 비일시적 매체.
  23. 제 22 항에 있어서,
    상기 명령들은 또한, 상기 프로세서로 하여금, 해석된 상기 제스처를 디지털 이미지로 변환하게 하도록 구성되고,
    상기 디지털 이미지는 상기 해석된 제스처의 표현인, 프로세서 판독가능 비일시적 매체.
  24. 제 22 항에 있어서,
    상기 명령들은 또한, 상기 프로세서로 하여금, 해석하는 단계에 적어도 부분적으로 기초하여 명령을 실행하게 하도록 구성되는, 프로세서 판독가능 비일시적 매체.
  25. 제 22 항에 있어서,
    상기 오브젝트는 사용자 익스트리미티를 포함하는, 프로세서 판독가능 비일시적 매체.
  26. 제 22 항에 있어서,
    상기 조사하는 것은 상기 표면 상에 2-D 제스처 스캐닝 영역을 생성하는 것을 더 포함하는, 프로세서 판독가능 비일시적 매체.
  27. 제 26 항에 있어서,
    상기 2-D 제스처 스캐닝 영역은 조사된 상기 초음파의 주파수 또는 강도에 적어도 부분적으로 기초하여 정의되는, 프로세서 판독가능 비일시적 매체.
  28. 제 22 항에 있어서,
    상기 조사하는 것은, 5mm 이하의 거리로 상기 표면에 평행한 상기 초음파를 조사하는 것을 더 포함하는, 프로세서 판독가능 비일시적 매체.
KR1020167011824A 2013-10-10 2014-10-09 초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법 KR20160068843A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/051,195 US20150102994A1 (en) 2013-10-10 2013-10-10 System and method for multi-touch gesture detection using ultrasound beamforming
US14/051,195 2013-10-10
PCT/US2014/059881 WO2015054483A1 (en) 2013-10-10 2014-10-09 System and method for multi-touch gesture detection using ultrasound beamforming

Publications (1)

Publication Number Publication Date
KR20160068843A true KR20160068843A (ko) 2016-06-15

Family

ID=52007259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011824A KR20160068843A (ko) 2013-10-10 2014-10-09 초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US20150102994A1 (ko)
EP (1) EP3055758A1 (ko)
JP (1) JP2017501464A (ko)
KR (1) KR20160068843A (ko)
CN (1) CN105612483A (ko)
WO (1) WO2015054483A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150220214A1 (en) * 2014-01-31 2015-08-06 Samsung Display Co., Ltd. Multi-touch acoustic beam sensing apparatus and driving method thereof
CN105404385B (zh) * 2014-05-30 2018-11-27 阿里巴巴集团控股有限公司 一种智能显示终端与体感设备实现数据交互的方法及装置
CN104850278B (zh) * 2015-05-28 2017-11-10 北京京东方多媒体科技有限公司 一种非触摸控制的一体机及其控制方法
CN105938399B (zh) * 2015-12-04 2019-04-12 深圳大学 基于声学的智能设备的文本输入识别方法
US20170329431A1 (en) * 2016-05-10 2017-11-16 Mediatek Inc. Proximity detection for absorptive and reflective object using ultrasound signals
US10945068B2 (en) 2016-06-03 2021-03-09 Huawei Technologies Co., Ltd. Ultrasonic wave-based voice signal transmission system and method
CN106446801B (zh) * 2016-09-06 2020-01-07 清华大学 基于超声主动探测的微手势识别方法及系统
NO20171742A1 (en) * 2017-09-15 2019-03-18 Elliptic Laboratories As User Authentication Control
CN113030947B (zh) * 2021-02-26 2023-04-07 北京京东方技术开发有限公司 非接触式控制装置以及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1146779C (zh) * 1998-04-28 2004-04-21 北京青谷科技有限公司 显示表面上触摸点位置参数传感装置
US6731270B2 (en) * 1998-10-21 2004-05-04 Luidia Inc. Piezoelectric transducer for data entry device
WO2005031552A2 (en) * 2003-09-30 2005-04-07 Koninklijke Philips Electronics, N.V. Gesture to define location, size, and/or content of content window on a display
GB2443744B (en) * 2004-04-14 2008-10-29 Tyco Electronics Corp Acoustic touch sensor
US20050248548A1 (en) * 2004-04-14 2005-11-10 Masahiro Tsumura Acoustic touch sensor
GB2441335B (en) * 2006-08-29 2011-08-10 Steven Le Masurier A safety device
US8743091B2 (en) * 2008-07-31 2014-06-03 Apple Inc. Acoustic multi-touch sensor panel
JP5499479B2 (ja) * 2009-01-13 2014-05-21 セイコーエプソン株式会社 電子機器
WO2011048433A1 (en) * 2009-10-23 2011-04-28 Elliptic Laboratories As Touchless interfaces
CN201780681U (zh) * 2010-05-11 2011-03-30 上海科斗电子科技有限公司 基于超声波的手势动作遥控系统
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US8223589B2 (en) * 2010-10-28 2012-07-17 Hon Hai Precision Industry Co., Ltd. Gesture recognition apparatus and method
CN103229071B (zh) * 2010-11-16 2015-09-23 高通股份有限公司 用于基于超声反射信号的对象位置估计的系统和方法
KR20120067064A (ko) * 2010-12-15 2012-06-25 삼성전기주식회사 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
US8262112B1 (en) * 2011-07-08 2012-09-11 Hendrickson Usa, L.L.C. Vehicle suspension and improved method of assembly
EP2581814A1 (en) * 2011-10-14 2013-04-17 Elo Touch Solutions, Inc. Method for detecting a touch-and-hold touch event and corresponding device
JP5087723B1 (ja) * 2012-01-30 2012-12-05 パナソニック株式会社 情報端末装置、その制御方法、およびプログラム
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及系统
US9804675B2 (en) * 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
CN103344959B (zh) * 2013-07-22 2016-04-20 苏州触达信息技术有限公司 一种超声定位系统和具有定位功能的电子装置

Also Published As

Publication number Publication date
CN105612483A (zh) 2016-05-25
US20150102994A1 (en) 2015-04-16
EP3055758A1 (en) 2016-08-17
WO2015054483A1 (en) 2015-04-16
JP2017501464A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
KR20160068843A (ko) 초음파 빔포밍을 사용한 멀티-터치 제스처 검출을 위한 시스템 및 방법
CN106446801B (zh) 基于超声主动探测的微手势识别方法及系统
US8086971B2 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US8913039B2 (en) Method and device for locating at least one touch on a touch-sensitive surface of an object
JP6772246B2 (ja) プロセッサドングルを備える超音波システム
JP2006323823A (ja) 音ベースの仮想キーボード、装置、及び方法
CN109857245B (zh) 一种手势识别方法和终端
CN104756054A (zh) 通过超声波传感器进行力检测
JP5186263B2 (ja) 超音波システム
DE102011017250A1 (de) Systemintegration von taktilem Feedback und Touchscreen-Controller zum Layout von Nahe-Null-Latenz-Haptik
US11020091B2 (en) Ultrasound imaging apparatus and control method for the same
CN109069108B (zh) 超声医学检测设备、传输控制方法以及成像系统和终端
JP2010269139A (ja) タッチインタラクションを用いる超音波診断装置
CN111062344B (zh) 超声波指纹识别方法、装置及系统、显示装置、存储介质
EP2848200A1 (en) Method and Apparatus for Providing Ultrasound Information By Using Guidelines
KR200477008Y1 (ko) 마우스 겸용 스마트폰
JP5601691B2 (ja) 超音波画像表示装置及びその制御プログラム
CN106249092A (zh) 触摸屏自动测试方法和系统
CN115963935A (zh) 一种书写方法及相关装置
US20240119943A1 (en) Apparatus for implementing speaker diarization model, method of speaker diarization, and portable terminal including the apparatus
WO2018145264A1 (zh) 超声医学检测设备及成像控制方法、成像系统、控制器
US10437369B2 (en) Software defined input operation sensing system
US11653901B2 (en) Ultrasound diagnostic apparatus, recording medium, and console guide display method
US20240126394A1 (en) Piezoelectric transducers for detection of touch on a surface

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid