KR101847295B1 - 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치 - Google Patents

초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치 Download PDF

Info

Publication number
KR101847295B1
KR101847295B1 KR1020160143140A KR20160143140A KR101847295B1 KR 101847295 B1 KR101847295 B1 KR 101847295B1 KR 1020160143140 A KR1020160143140 A KR 1020160143140A KR 20160143140 A KR20160143140 A KR 20160143140A KR 101847295 B1 KR101847295 B1 KR 101847295B1
Authority
KR
South Korea
Prior art keywords
user
motion recognition
motion
recognition module
hand
Prior art date
Application number
KR1020160143140A
Other languages
English (en)
Inventor
조경일
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020160143140A priority Critical patent/KR101847295B1/ko
Priority to US15/798,241 priority patent/US10372230B2/en
Application granted granted Critical
Publication of KR101847295B1 publication Critical patent/KR101847295B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/62—Sense-of-movement determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device

Abstract

일실시예에 따르면, 전자 기기를 구현하는 컴퓨터와 연동하는 사용자 인터페이스 장치는 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 모션 인식 모듈; 및 상기 모션 인식 모듈로 전원을 공급하는 배터리를 포함한다.

Description

초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치{USER INTERFACE APPARATUS USING TRANSMITTING AND RECEIVING SUPERSOUND SIGNAL}
아래의 실시예들은 전자 기기를 구현하는 컴퓨터 혹은 TV와 연동하는 사용자 인터페이스 장치에 대한 것으로, 보다 상세하게는 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 사용자 인터페이스 장치에 관한 기술이다.
컴퓨터 모니터에서 실행 명령의 내용과 위치를 지정하여 주는 포인터를 움직이는 기능을 지원하는 마우스 장치가 등장하면서, 컴퓨터는 GUI(Graphic user interface) 시스템으로 전환되었다.
이러한 GUI 시스템에서, 최근 적외선 센서를 이용하여 사용자의 모션을 감지하고, 이를 사용자 입력으로 이용하는 기술이 크게 부각되고 있다. 이와 같은 기술은 공개특허공보 제10-2016-0063075호에 개시되어 있다.
이에, 마우스 장치의 포인터를 사용자 입력으로 이용할 뿐만 아니라, 사용자의 모션을 사용자의 입력으로 이용하는 통합적인 사용자 인터페이스 기술이 요구된다.
그러나, 종래의 마우스 장치에 적외선 기반의 사용자 모션 감지 기술을 적용하기에는, 적외선 센서를 이용하는데 소모되는 전력이 마우스 장치의 소비 전력보다 훨씬 큰 문제점이 있다.
따라서, 아래의 실시예들은 종래의 마우스 장치의 소비전력을 고려하여 적용 가능한 사용자의 모션 감지 기술을 제안한다.
일실시예들은 소비전력을 개선시킨, 사용자의 모션을 인식하는 사용자 인터페이스 장치를 제공한다.
구체적으로, 일실시예들은 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 사용자 인터페이스 장치를 제공한다.
또한, 일실시예들은 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정되어 사용자의 모션을 인식하는 동작을 선택적으로 수행하는 사용자 인터페이스 장치를 제공한다.
일실시예에 따르면, 전자 기기를 구현하는 컴퓨터 혹은 TV와 연동하는 사용자 인터페이스 장치는 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 모션 인식 모듈; 및 상기 모션 인식 모듈로 전원을 공급하는 배터리를 포함한다.
상기 모션 인식 모듈은 3D 빔 집속이 가능하도록 2D 어레이 형태로 배치되어, 상기 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들을 포함할 수 있다.
상기 복수의 마이크로 머신 트랜스듀서들 각각은 졸겔(Solgel) 압전체를 사용하여 구현되는 고감도 피에조 마이크로 머신 트랜스듀서일 수 있다.
상기 모션 인식 모듈의 상단부에는 상기 복수의 마이크로 머신 트랜스듀서들보다 임피던스가 작은 임피던스 매칭부가 배치될 수 있다.
상기 임피던스 매칭부는 상기 모션 인식 모듈의 상단부에 PDMS 또는 고무 물질로 형성되거나, 상기 모션 인식 모듈의 상단부에 홀(Hole)로 형성될 수 있다.
상기 모션 인식 모듈은 상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 판단하고, 상기 판단 결과에 기초하여 상기 사용자 인터페이스 장치를 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정할 수 있다.
상기 모션 인식 모듈은 상기 수신되는 초음파 신호가 상기 미리 설정된 기준값 미만인 경우, 상기 사용자 인터페이스 장치를 상기 모션 인식 모드로 설정하여 상기 사용자의 모션을 인식하는 동작을 수행할 수 있다.
상기 모션 인식 모듈은 상기 초음파 신호를 상기 사용자의 손이 위치하는 공간으로 송신하고, 상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호에 기초하여 상기 사용자의 손의 모션을 추출할 수 있다.
상기 모션 인식 모듈은 상기 사용자 인터페이스 장치를 사용하는 사용자의 손 모양 중 검지와 중지가 벌어진 V면의 형상을 기반으로, 상기 사용자의 손의 모션을 추출할 수 있다.
상기 모션 인식 모듈은 상기 추출된 사용자의 손의 모션에 대응하는 사용자 인터페이스 기능을 수행할 수 있다.
상기 모션 인식 모듈은 상기 사용자 인터페이스 장치를 사용하는 사용자의 손의 위치에 기초하여 상기 사용자 인터페이스 장치의 일측에 구비될 수 있다.
상기 모션 인식 모듈은 상기 초음파 신호를 처리하는 펄서/리시버; 상기 초음파 신호에 대한 빔 포밍을 수행하는 빔 포머; 및 상기 초음파 신호를 변환하는 ADC(Analog-Digital Converter)를 포함할 수 있다.
일실시예에 따르면, 전자 기기를 구현하는 컴퓨터 또는 TV와 연동하는 마우스 장치는 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 모션 인식 모듈; 및 상기 모션 인식 모듈로 전원을 공급하는 배터리를 포함한다.
상기 모션 인식 모듈은 3D 빔 집속이 가능하도록 2D 어레이 형태로 배치되어, 상기 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들을 포함할 수 있다.
상기 모션 인식 모듈의 상단부에는 상기 복수의 마이크로 머신 트랜스듀서들보다 임피던스가 작은 임피던스 매칭부가 배치될 수 있다.
상기 모션 인식 모듈은 상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 판단하고, 상기 판단 결과에 기초하여 상기 마우스 장치를 일반 마우스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정할 수 있다.
상기 모션 인식 모듈은 상기 수신되는 초음파 신호가 상기 미리 설정된 기준값 미만인 경우, 상기 마우스 장치를 상기 모션 인식 모드로 설정하여 상기 사용자의 모션을 인식하는 동작을 수행할 수 있다.
일실시예들은 소비전력을 개선시킨, 사용자의 모션을 인식하는 사용자 인터페이스 장치를 제공할 수 있다.
구체적으로, 일실시예들은 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식하는 사용자 인터페이스 장치를 제공할 수 있다.
또한, 일실시예들은 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정되어 사용자의 모션을 인식하는 동작을 선택적으로 수행하는 사용자 인터페이스 장치를 제공할 수 있다.
도 1은 일실시예에 따른 사용자 인터페이스 장치를 나타낸 도면이다.
도 2는 일실시예에 따른 모션 인식 모듈을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 사용자 인터페이스 장치의 일반 사용자 인터페이스 모드 또는 모션 인식 모드를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 사용자 인터페이스 장치의 동작 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 사용자 인터페이스 장치에서, 사용자의 손의 모션을 추출하고, 사용자의 손의 모션에 대응하는 사용자 인터페이스 기능을 수행하는 것을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 사용자 인터페이스 장치를 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 사용자 인터페이스 장치를 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 사용자 인터페이스 장치(100)는 모션 인식 모듈(110) 및 배터리(120)를 포함한다. 이하, 사용자 인터페이스 장치(100)가 전자 기기를 구현하는 컴퓨터 또는 TV와 연동하는 마우스 장치인 경우로 설명하나, 이에 제한되거나 한정되지 않고, 사용자 입력을 수신하는 다양한 사용자 인터페이스 장치일 수 있다.
모션 인식 모듈(110)은 초음파 신호의 송수신을 이용하여 사용자의 모션(또는 포즈)을 인식한다. 이하, 사용자의 모션(사용자의 손의 모션)은 사용자의 포즈(사용자의 손의 포즈)가 시간에 따라 움직이는 궤적을 포함하는 제스처를 의미한다. 따라서, 사용자의 모션을 인식한다는 것은 사용자의 포즈를 인식하는 것을 기반으로 한다.
구체적으로, 모션 인식 모듈(110)은 초음파 신호를 송수신하는 송수신부(111), 초음파 신호를 처리하는 펄서/리시버(112), 초음파 신호에 대한 빔 포밍을 수행하는 빔 포머(113) 및 초음파 신호를 변환하는 ACD(Analog-Digital Converter)(114)를 포함함 수 있다.
따라서, 모션 인식 모듈(110)은 펄서에서 생성되는 초음파 신호를 송수신부(111)를 통하여 사용자의 손이 위치하는 공간으로 송신하고, 사용자의 손에 의해 반사되어 송수신부(111)로 수신되는 초음파 신호를 리시버(112)에서 처리한 뒤, ADC(114)에서 디지털 신호로 변환하여 빔 포머(113)를 이용하여 채널 별 빔을 집속함으로써, 집속된 빔을 컴퓨팅하여 사용자의 모션(사용자의 손의 모션)을 인식할 수 있다.
예를 들어, 모션 인식 모듈(110)은 디지털 펄스전압을 인가하여 송신 초음파 신호(송신 압력)을 발생시켜 사용자의 손이 위치하는 공간으로 송신하고, 사용자의 손에 의해 반사되어 수신되는 수신 초음파 신호(수신 압력)을 수신 전압으로 변환한 뒤, 수신 전압을 디지털 신호로 전환하여 채널 별 빔을 집속함으로써, 사용자의 손의 모션을 인식할 수 있다.
이 때, 빔 포머(113)가 디지털 빔 포머인 경우로, ADC(114)의 후단에 연결되는 경우로 설명되었으나, 이에 제한되거나 한정되지 않고, ADC(114)의 전단에 연결되는 아날로그 빔 포머일 수도 있다. 이러한 경우, 사용자의 손에 의해 반사되어 송수신부(111)로 수신되는 초음파 신호는 리시버(112)에서 처리된 뒤, 아날로그 빔 포머를 이용하여 채널 별 빔이 집속되고, ADC(114)에서 디지털 신호로 변환될 수 있다.
이와 같은 모션 인식 동작은 모션 인식 모듈(110)이 미리 설정된 주기에 따라 반복적으로 송수신되는 초음파 신호를 기반으로 감지되는 사용자의 포즈가 움직이는 궤적을 인식함으로써, 수행될 수 있다.
여기서, 펄서/리시버(112) 및 ADC(114)는 각각 초음파 신호를 발생시키고, 수신 처리하는 종래의 펄서/리시버 및 아날로그 신호를 디지털 신호로 전환하는 종래의 ADC가 이용될 수 있다.
이 때, 빔 포머(113)는 수신 초음파 신호를 빔 포밍하는 것으로 설명하였으나, 이에 제한되거나 한정되지 않고, 송신 초음파 신호 역시 빔 포밍할 수도 있다.
송수신부(111)는 초음파 신호를 송수신하는 마이크로 머신 트랜스듀서(Micro Machined Transducer)로 구성될 수 있다. 여기서, 마이크로 머신 트랜스듀서는 초음파 신호가 복수의 채널을 갖도록 복수 개 구비되어, 복수의 마이크로 머신 트랜스듀서들 각각이 딜레이를 갖고 송신 초음파 신호를 송신함으로써, 수신 초음파 신호에 대한 3D 빔 집속(이하, 3D 빔 집속은 빔 포밍을 의미함)이 가능하도록 할 수 있다. 반면에, 복수의 마이크로 머신 트랜스듀서들은 2D 어레이 형태로 배치됨으로써, 수신 초음파 신호에 대한 3D 빔 집속이 가능하도록 할 수도 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
여기서, 모션 인식 모듈(110)은 사용자 인터페이스 장치(100)를 사용하는 사용자의 손의 위치에 기초하여, 사용자 인터페이스 장치(100)의 일측에 구비될 수 있다. 예를 들어, 모션 인식 모듈(110)은 마우스 장치(100)를 사용하는 사용자의 손에 초음파 신호를 송신할 수 있도록 마우스 장치(100)의 후단에 일정 각도로 구비될 수 있다.
또한, 모션 인식 모듈(110)은 사용자의 손이 위치하는 공간에 초음파 신호를 송신할 수 있도록 적응적으로 각도 또는 위치가 조절되도록 구성될 수도 있다.
또한, 사용자 인터페이스 장치(100)는 임피던스 매칭부(130)를 더 포함할 수 있다. 이 때, 임피던스 매칭부(130)는 사용자의 손에 의해 반사되는 초음파 신호가 모션 인식 모듈(110)에 보다 잘 수신되도록 모션 인식 모듈(110)의 송수신부(111)(복수의 마이크로 머신 트랜스듀서들)보다 임피던스가 작은 임피던스를 갖도록 형성될 수 있다. 예를 들어, 임피던스 매칭부(130)는 모션 인식 모듈(110)의 상단부에 PDMS(폴리머 물질) 또는 고무 물질로 형성되거나, 홀(Hole)로 형성될 수 있다.
이와 같은 사용자 인터페이스 장치(100)는 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정되어, 사용자의 모션 인식 동작을 선택적으로 수행할 수도 있다. 이에 대한 상세한 설명은 도 3 내지 4를 참조하여 기재하기로 한다.
이에, 배터리(120)는 모션 인식 모듈(110)에 전원을 공급할 뿐만 아니라, 사용자 인터페이스 장치(100)의 일반 사용자 인터페이스 기능을 수행하는 구성부에 전원을 공급하도록 구성될 수 있다.
상술한 바와 같이, 일실시예에 따른 사용자 인터페이스 장치(100)는 초음파 신호를 이용하는 모션 인식 모듈(110)을 포함함으로써, 일반적인 마우스 장치의 소비전력인 0.1 내지 0.5W 대비 극히 작은 0.002W의 소비전력을 갖는 사용자의 모션을 인식하는 기술을 적용할 수 있다(종래의 적외선 센서는 3 내지 5W임).
도 2는 일실시예에 따른 모션 인식 모듈을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 모션 인식 모듈은 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들(210)을 포함할 수 있다. 이 때, 복수의 마이크로 머신 트랜스듀서들(210)은 복수 채널의 초음파 신호들을 송수신하여 사용자의 모션을 인식하기 위하여 수신 초음파 신호들의 3D 빔 집속이 가능하도록 2D 어레이 형태로 배치될 수 있다.
여기서, 복수의 마이크로 머신 트랜스듀서들(210) 각각은 졸겔(Solgel) 압전체를 사용하여 구현되는 고감도 피에조 마이크로 머신 트랜듀서일 수 있다.
또한, 복수의 마이크로 머신 트랜스듀서들(210) 각각은 도면에 도시된 바와 같이, 실리콘 기판 상의 상부 전극(Al) 및 하부 전극(Al) 사이에 졸겔 압전체(예컨대, 졸겔 PZT)가 배치되는 구조를 가질 수 있다.
이와 같이, 일실시예에 따른 모션 인식 모듈에 포함되는 복수의 마이크로 머신 트랜스듀서들(210)은 2D 크로스 어레이 형태로 배치됨으로써, 3D 상의 빔 스티어링 및 집속을 제어할 수 있다.
도 3은 일실시예에 따른 사용자 인터페이스 장치의 일반 사용자 인터페이스 모드 또는 모션 인식 모드를 설명하기 위한 도면이고, 도 4는 일실시예에 따른 사용자 인터페이스 장치의 동작 방법을 나타낸 플로우 차트이다.
도 3 내지 4를 참조하면, 일실시예에 따른 사용자 인터페이스 장치(310)에 포함되는 모션 인식 모듈은 사용자 인터페이스 장치(310)를 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정함으로써, 사용자의 모션 인식 동작을 선택적으로 수행할 수 있다.
구체적으로, 모션 인식 모듈은 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 판단하고(410), 판단 결과에 기초하여 사용자 인터페이스 장치(310)를 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정할 수 있다(420, 430). 따라서, 모션 인식 모듈은 수신되는 초음파 신호가 미리 설정된 기준값 미만으로, 사용자 인터페이스 장치(310)가 모션 인식 모드로 설정된 경우에(420), 사용자의 모션을 인식하는 동작을 수행할 수 있다(440).
반면에, 수신되는 초음파 신호가 미리 설정된 기준값 이상으로, 사용자 인터페이스 장치(310)가 일반 사용자 인터페이스 모드로 설정된 경우에(430), 일반 사용자 인터페이스 기능을 수행할 수 있다(450).
예를 들어, (a) 경우와 같이, 사용자의 손이 마우스 장치(310)에 밀착되는 경우, 사용자의 손에 의해 반사되어 수신되는 초음파 신호는 미리 설정된 기준값 이상이 되게 된다. 이에, 모션 인식 모듈은 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상임을 판단하여(410), 마우스 장치(310)를 일반 마우스 모드로 설정한 뒤(430), 일반 마우스 기능을 수행할 수 있다(450).
다른 예를 들면, (b)와 같이, 사용자의 손이 마우스 장치(310)에 일정 거리(예컨대, 5cm) 이상 떨어진 경우, 사용자의 손에 의해 반사되어 수신되는 초음파 신호는 미리 설정된 기준값 미만이 되게 된다. 이에, 모션 인식 모듈은 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 미만임을 판단하여(410), 마우스 장치(310)를 모션 인식 모드로 설정한 뒤(420), 사용자의 모션을 인식하는 동작을 수행할 수 있다(440).
도면에 도시된 바와 같이, 사용자의 손의 포즈는 마우스 장치(310)의 일반 마우스 기능을 이용하는 경우나, 모션 인식 기능을 이용하는 경우 모두 동일하게 유지되어야 할 수 있다. 그러나 이에 제한되거나 한정되지 않고, 사용자의 손의 포즈는 마우스 장치(310)에 포함되는 모션 인식 모듈이 사용자의 손의 포즈(또는 모션)을 인식할 수 있는 범위 내에서 자유롭게 허용될 수 있다.
사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 판단하는 과정(410) 이전에 초음파 신호를 사용자의 손이 위치하는 공간에 송신하고, 수신하는 과정 그리고, 수신되는 초음파 신호를 처리, 변환하며 채널 별 빔을 집속하여 사용자의 모션을 인식하는 과정에 대한 구체적인 설명은 도 1 내지 2를 참조하여 상술하였으므로 생략하기로 한다.
이와 같이, 일실시예에 따른 사용자 인터페이스 장치(310)는 모션 인식 모듈의 사용자의 모션을 인식하는 동작을 모드에 따라 선택적으로 수행함으로써, 사용자의 모션을 인식하는 동작뿐만 아니라, 일반 사용자 인터페이스 기능을 통합적으로 수행할 수 있다.
또한, 사용자 인터페이스 장치(310)는 사용자의 모션을 인식하는 동작을 모드에 따라 선택적으로 수행함으로써, 모션 인식 동작에서 소모되는 전력을 최소화할 수 있다.
도 5는 일실시예에 따른 사용자 인터페이스 장치에서, 사용자의 손의 모션을 추출하고, 사용자의 손의 모션에 대응하는 사용자 인터페이스 기능을 수행하는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따른 사용자 인터페이스 장치(510)에 포함되는 모션 인식 모듈은 위에서 설명한 바와 같이 인식된 사용자의 손의 모션(또는 포즈)을 기반으로 다양한 사용자 인터페이스 기능을 수행할 수 있다.
예를 들어, 모션 인식 모듈은 사용자의 손의 모션(또는 포즈) 별로 대응하는 사용자 인터페이스 기능을 매칭한 테이블을 구축해둠으로써, 사용자의 손의 모션이 인식되면, 대응하는 사용자 인터페이스 기능을 호출하여 실행할 수 있다.
특히, 모션 인식 모듈은 사용자 인터페이스 장치(510)를 사용하는 사용자의 기본 손 모양을 기반으로 사용자의 모션을 인식할 수 있다. 예를 들어, 모션 인식 모듈은 마우스 장치(510)를 사용하는 사용자의 기본 손 모양이 검지와 중지가 벌어진 V면의 형상(520)을 갖는 것을 이용함으로써, 사용자의 검지 및 중지의 V면의 형상(520)(또는 모션)을 인식하여 사용자 인터페이스 기능을 수행할 수 있다.
더 구체적인 예를 들면, 모션 인식 모듈은 V면의 형상(520)과 마우스 장치(510)가 형성하는 각도가 제1 각도(521)로부터 제2 각도(522)로 변화함에 따른 V면의 형상(520)의 움직임을 인식하여, 디스플레이 상에서의 스크롤 기능을 수행할 수 있다.
다른 예를 들면, 모션 인식 모듈은 V면의 형상(520)에서 검지와 중지가 형성하는 각도가 제1 각도(523)로부터 제2 각도(524)로 변화함에 따른 V면의 형상(520)의 움직임을 인식하여, 디스플레이 상에서의 줌 아웃/줌 인 기능을 수행할 수 있다.
이러한 경우, 모션 인식 모듈이 사용자의 모션을 인식하기 위하여 이용하는 알고리즘은 V면의 형상(520)을 검출하기 적합하도록 개선될 수 있다. 예를 들어, 모션 인식 모듈이 이용하는 알고리즘은 V면의 형상(520)에서 상부(525)가 넓고 하부(526)가 좁은 특징 및 V면의 형상(520)의 왼쪽 영역(사용자의 손 중 V면의 형상(520)의 왼쪽 영역)(527)이 좁고, V면의 형상의 오른쪽 영역(사용자의 손 중 V면의 형상(520)의 오른쪽 영역)(528)이 넓은 특징을 고려하며, V면의 형상(520)을 감지하도록 구현될 수 있다.
이상, 사용자 인터페이스 장치가 마우스 장치인 경우로 설명하였으나, 이에 제한되거나 한정되지 않고, 전자 기기를 구현하는 컴퓨터 또는 TV와 연동하여 사용자 입력을 수신하는 다양한 사용자 인터페이스 장치일 수 있다. 예를 들어, 사용자 인터페이스 장치는 키보드일 수도 있다. 이러한 경우, 모션 인식 모듈은 키보드를 사용하는 사용자의 기본 손 모양인 열 손가락을 다 핀 형상을 기반으로, 사용자의 모션을 인식할 수 있다.
도 6은 일실시예에 따른 사용자 인터페이스 장치를 나타낸 블록도이다.
도 6을 참조하면, 일실시예에 따른 사용자 인터페이스 장치는 모션 인식 모듈(610) 및 배터리(620)를 포함한다.
모션 인식 모듈(610)은 초음파 신호의 송수신을 이용하여 사용자의 모션을 인식한다.
구체적으로, 모션 인식 모듈(610)은 초음파 신호를 사용자의 손이 위치하는 공간으로 송신하고, 사용자의 손에 의해 반사되어 수신되는 초음파 신호에 기초하여 사용자의 손의 모션을 추출할 수 있다. 따라서, 모션 인식 모듈(610)은 추출된 사용자의 손의 모션에 대응하는 사용자 인터페이스 기능을 수행할 수 있다.
이 때, 모션 인식 모듈(610)은 3D 빔 집속이 가능하도록 2D 어레이 형태로 배치되어, 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들을 포함할 수 있다. 여기서, 복수의 마이크로 머신 트랜스듀서들 각각은 졸겔(Solgel) 압전체를 사용하여 구현되는 고감도 피에조 마이크로 머신 트랜스듀서일 수 있다.
또한, 모션 인식 모듈(610)은 초음파 신호를 처리하는 펄서/리시버; 초음파 신호에 대한 빔 포밍을 수행하는 빔 포머; 및 초음파 신호를 변환하는 ADC(Analog-Digital Converter)를 포함할 수 있다.
모션 인식 모듈(610)의 상단부에는 복수의 마이크로 머신 트랜스듀서들보다 임피던스가 작은 임피던스 매칭부가 배치될 수 있다. 이 때, 임피던스 매칭부는 모션 인식 모듈(610)의 상단부에 PDMS 또는 고무 물질로 형성되거나, 모션 인식 모듈(610)의 상단부에 홀(Hole)로 형성될 수 있다.
또한, 모션 인식 모듈(610)은 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 판단하고, 판단 결과에 기초하여 사용자 인터페이스 장치를 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정할 수 있다.
예를 들어, 모션 인식 모듈(610)은 수신되는 초음파 신호가 미리 설정된 기준값 미만인 경우, 사용자 인터페이스 장치를 모션 인식 모드로 설정하여 사용자의 모션을 인식하는 동작을 수행할 수 있다.
이와 같은, 모션 인식 모듈(610)은 사용자 인터페이스 장치를 사용하는 사용자의 손의 위치에 기초하여 사용자 인터페이스 장치의 일측에 구비될 수 있다.
또한, 모션 인식 모듈(610)은 사용자의 손이 위치하는 공간에 초음파 신호를 송신할 수 있도록 적응적으로 각도 또는 위치가 조절되도록 구성될 수도 있다.
배터리(620)는 모션 인식 모듈(610)로 전원을 공급한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 전자 기기를 구현하는 컴퓨터 또는 TV와 연동하는 사용자 인터페이스 장치에 있어서,
    초음파 신호를 사용자의 손이 위치하는 공간으로 송신하고, 상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호에 기초하여 상기 사용자의 손의 모션을 추출하여 상기 사용자의 모션을 인식하는 모션 인식 모듈; 및
    상기 모션 인식 모듈로 전원을 공급하는 배터리
    를 포함하고,
    상기 모션 인식 모듈은
    상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 비교하여 상기 사용자의 손이 상기 사용자 인터페이스 장치에 밀착되는지 여부를 판단하고, 상기 사용자의 모션을 인식하는 것을 선택적으로 수행하도록 상기 판단 결과에 기초하여 상기 사용자 인터페이스 장치를 일반 사용자 인터페이스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정하며,
    상기 사용자 인터페이스 장치를 사용하는 사용자의 손 모양 중 검지와 중지가 벌어진 V면의 형상을 기준으로, 상기 사용자의 손의 모션을 추출하는 사용자 인터페이스 장치.
  2. 제1항에 있어서,
    상기 모션 인식 모듈은
    3D 빔 집속이 가능하도록 2D 어레이 형태로 배치되어, 상기 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들을 포함하는, 사용자 인터페이스 장치.
  3. 제2항에 있어서,
    상기 복수의 마이크로 머신 트랜스듀서들 각각은
    졸겔(Solgel) 압전체를 사용하여 구현되는 고감도 피에조 마이크로 머신 트랜스듀서인, 사용자 인터페이스 장치.
  4. 제2항에 있어서,
    상기 모션 인식 모듈의 상단부에는
    상기 복수의 마이크로 머신 트랜스듀서들보다 임피던스가 작은 임피던스 매칭부가 배치되는, 사용자 인터페이스 장치.
  5. 제4항에 있어서,
    상기 임피던스 매칭부는
    상기 모션 인식 모듈의 상단부에 PDMS 또는 고무 물질로 형성되거나, 상기 모션 인식 모듈의 상단부에 홀(Hole)로 형성되는, 사용자 인터페이스 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 모션 인식 모듈은
    상기 수신되는 초음파 신호가 상기 미리 설정된 기준값 미만인 경우, 상기 사용자 인터페이스 장치를 상기 모션 인식 모드로 설정하여 상기 사용자의 모션을 인식하는 동작을 수행하는, 사용자 인터페이스 장치.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 모션 인식 모듈은
    상기 추출된 사용자의 손의 모션에 대응하는 사용자 인터페이스 기능을 수행하는, 사용자 인터페이스 장치.
  11. 제1항에 있어서,
    상기 모션 인식 모듈은
    상기 사용자 인터페이스 장치를 사용하는 사용자의 손의 위치에 기초하여 상기 사용자 인터페이스 장치의 일측에 구비되는, 사용자 인터페이스 장치.
  12. 제2항에 있어서,
    상기 모션 인식 모듈은
    상기 초음파 신호를 처리하는 펄서/리시버;
    상기 초음파 신호에 대한 빔 포밍을 수행하는 빔 포머; 및
    상기 초음파 신호를 변환하는 ADC(Analog-Digital Converter)
    를 포함하는 사용자 인터페이스 장치.
  13. 전자 기기를 구현하는 컴퓨터 또는 TV와 연동하는 마우스 장치에 있어서,
    초음파 신호를 사용자의 손이 위치하는 공간으로 송신하고, 상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호에 기초하여 상기 사용자의 손의 모션을 추출하여 상기 사용자의 모션을 인식하는 모션 인식 모듈; 및
    상기 모션 인식 모듈로 전원을 공급하는 배터리
    를 포함하고,
    상기 모션 인식 모듈은
    상기 사용자의 손에 의해 반사되어 수신되는 초음파 신호가 미리 설정된 기준값 이상인지를 비교하여 상기 사용자의 손이 상기 마우스 장치에 밀착되는지 여부를 판단하고, 상기 사용자의 모션을 인식하는 것을 선택적으로 수행하도록 상기 판단 결과에 기초하여 상기 마우스 장치를 일반 마우스 모드 또는 모션 인식 모드 중 어느 하나의 모드로 설정하며,
    상기 마우스 장치를 사용하는 사용자의 손 모양 중 검지와 중지가 벌어진 V면의 형상을 기준으로, 상기 사용자의 손의 모션을 추출하는 마우스 장치.
  14. 제13항에 있어서,
    상기 모션 인식 모듈은
    3D 빔 집속이 가능하도록 2D 어레이 형태로 배치되어, 상기 초음파 신호를 송수신하는 복수의 마이크로 머신 트랜스듀서들을 포함하는, 마우스 장치.
  15. 제14항에 있어서,
    상기 모션 인식 모듈의 상단부에는
    상기 복수의 마이크로 머신 트랜스듀서들보다 임피던스가 작은 임피던스 매칭부가 배치되는, 마우스 장치.
  16. 삭제
  17. 제13항에 있어서,
    상기 모션 인식 모듈은
    상기 수신되는 초음파 신호가 상기 미리 설정된 기준값 미만인 경우, 상기 마우스 장치를 상기 모션 인식 모드로 설정하여 상기 사용자의 모션을 인식하는 동작을 수행하는, 마우스 장치.
KR1020160143140A 2016-10-31 2016-10-31 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치 KR101847295B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160143140A KR101847295B1 (ko) 2016-10-31 2016-10-31 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US15/798,241 US10372230B2 (en) 2016-10-31 2017-10-30 User interface device using transmission and reception of ultrasonic signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160143140A KR101847295B1 (ko) 2016-10-31 2016-10-31 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치

Publications (1)

Publication Number Publication Date
KR101847295B1 true KR101847295B1 (ko) 2018-05-28

Family

ID=62021423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160143140A KR101847295B1 (ko) 2016-10-31 2016-10-31 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치

Country Status (2)

Country Link
US (1) US10372230B2 (ko)
KR (1) KR101847295B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007289693A (ja) * 1995-06-06 2007-11-08 Imarx Pharmaceut Corp 超音波診断及び超音波治療を同時に実行する方法及び装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
US8432305B2 (en) * 2009-09-03 2013-04-30 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof, remote control apparatus, and control method thereof
JP2013226391A (ja) * 2012-03-31 2013-11-07 Canon Inc 探触子、及びそれを用いた被検体情報取得装置
US9323397B2 (en) * 2013-03-11 2016-04-26 The Regents Of The University Of California In-air ultrasonic rangefinding and angle estimation
WO2015048341A2 (en) * 2013-09-25 2015-04-02 Massachusetts Institute Of Technology Appliction specific integrated circuit with column-row-parallel architecture for ultrasonic imaging
US20150082890A1 (en) * 2013-09-26 2015-03-26 Intel Corporation Biometric sensors for personal devices
JP6316433B2 (ja) * 2013-12-12 2018-04-25 クアルコム，インコーポレイテッド マイクロメカニカル超音波トランスデューサおよびディスプレイ
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치
KR101609553B1 (ko) 2014-07-16 2016-04-06 고려대학교 산학협력단 3차원 동작인식 정보입력 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체
KR20160097410A (ko) 2015-02-06 2016-08-18 이강우 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
WO2016149046A1 (en) * 2015-03-16 2016-09-22 Innovasonic, Inc. Transparent ultrasonic transducer fabrication method and device
US10497748B2 (en) * 2015-10-14 2019-12-03 Qualcomm Incorporated Integrated piezoelectric micromechanical ultrasonic transducer pixel and array
KR102415898B1 (ko) * 2015-10-21 2022-07-01 삼성전자 주식회사 외부장치 연결에 따른 기능 제어 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007289693A (ja) * 1995-06-06 2007-11-08 Imarx Pharmaceut Corp 超音波診断及び超音波治療を同時に実行する方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김갑성, "초음파 어레이 센서를 이용한 물체 검출용 SoC 시스템 구현," 광주대학교 산업대학원 석사학위 논문, 2006.*

Also Published As

Publication number Publication date
US20180120946A1 (en) 2018-05-03
US10372230B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
KR101847295B1 (ko) 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10408797B2 (en) Sensing device with a temperature sensor
US11500494B2 (en) Ultrasonic touch detection and decision
US11635840B2 (en) Determining touch applied to an ultrasonic sensor
US10466844B1 (en) Ultrasonic touch and force input detection
US9710111B2 (en) In-air ultrasonic rangefinding and angle estimation
JP5540870B2 (ja) 超音波センサー、及び電子機器
CN109219817B (zh) 操作由超声换能器构成的指纹传感器
US10585534B2 (en) Ultrasonic touch feature extraction
WO2019226680A1 (en) Ultrasonic touch and force input detection
US11137302B2 (en) Compound sensor
KR20160069293A (ko) 프로브, 초음파 영상장치, 및 초음파 영상장치의 제어방법
JP7373083B2 (ja) 超音波診断装置および超音波診断装置の制御方法
EP3199251A1 (en) Ultrasonic transducer and ultrasonic probe including the same
WO2013001437A1 (en) A tracking system for tracking interventional tools in ultrasound guided interventions and an ultrasound diagnostic system comprising such a tracking system
TWI649559B (zh) 超音波影像裝置
EP3334539B1 (en) Capacitive micromachined ultrasonic transducers with increased patient safety
JP2019117097A (ja) 超音波測定装置、及び測定方法
KR20130069466A (ko) 초음파 진단 장치
CN107037877A (zh) 机动车辆
WO2018166155A1 (zh) 生物信息传感装置、电子设备和共模干扰检测方法
KR101699331B1 (ko) 유연 멤스 초음파 트랜스듀서 어레이를 이용한 동작 인식 시스템
Quaegebeur et al. Pressure mapping system based on guided waves reflection
JP4200490B2 (ja) 接触知らせ装置
KR20090101678A (ko) 사용자 입력부를 구비하는 초음파 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant