KR20170064364A - 마찰음을 이용하는 장치 및 방법 - Google Patents

마찰음을 이용하는 장치 및 방법 Download PDF

Info

Publication number
KR20170064364A
KR20170064364A KR1020150170082A KR20150170082A KR20170064364A KR 20170064364 A KR20170064364 A KR 20170064364A KR 1020150170082 A KR1020150170082 A KR 1020150170082A KR 20150170082 A KR20150170082 A KR 20150170082A KR 20170064364 A KR20170064364 A KR 20170064364A
Authority
KR
South Korea
Prior art keywords
input
fricative
electronic device
sound
user
Prior art date
Application number
KR1020150170082A
Other languages
English (en)
Other versions
KR102437106B1 (ko
Inventor
올렉산드르 슈르
예브게니 라키샨
곽병훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150170082A priority Critical patent/KR102437106B1/ko
Priority to PCT/KR2016/012735 priority patent/WO2017095033A1/ko
Priority to CN201680077549.8A priority patent/CN108475112B/zh
Priority to US15/780,789 priority patent/US10684675B2/en
Priority to EP16870929.3A priority patent/EP3361351B1/en
Publication of KR20170064364A publication Critical patent/KR20170064364A/ko
Application granted granted Critical
Publication of KR102437106B1 publication Critical patent/KR102437106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06K9/00013—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)

Abstract

본 개시는 마찰음 입력을 이용하는 장치 및 방법을 제공한다. 일 실시예에 따르면, 음향 신호를 입력 받는 마이크로폰; 및 상기 음향 신호로부터 마찰음을 검출하고, 상기 검출된 마찰음의 특성을 분석하여 마찰 속성을 결정하고, 상기 마찰 속성에 대응하는 제어 명령을 수행하는 처리부를 포함하는 전자 장치가 제공된다.

Description

마찰음을 이용하는 장치 및 방법 {Device and method for using friction sound}
본 출원의 실시예들은 마찰음을 이용하는 전자 장치, 전자 장치 제어 방법, 및 상기 전자 장치 제어 방법을 수행하는 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
최근 스마트폰, 스마트 워치, 스마트 안경 등 다양한 형태의 전자 장치들이 개발되고 있다. 더욱이 사물 인터넷의 등장으로, 가전제품, 웨어러블 디바이스 등에 키 버튼, 터치 스크린, 터치 패드 등 다양한 입력부들이 구비되는 경우가 증가하고 있다. 그런데 전자 장치가 소형화되면서, 입력부를 배치할 수 있는 공간적인 제약이 커지는 어려움이 있다. 또한 사용자가 특별히 신경 쓰지 않고 쉽게 전자 장치와 상호 작용할 수 있는 입력 형태들이 요구되고 있다.
이로 인해, 기존의 키보드 입력, 터치 입력 등의 방식에서 벗어나, 소리 입력, 제스쳐 입력 등이 이용되고 있다. 그런데 소리 입력은 주변 노이즈에 취약하고, 타인이 들을 수 있기 때문에 도용 가능성이 있으며, 사용자가 조작할 의도를 가진 전자 장치 이외의 다른 전자 장치가 소리 입력에 반응할 수 있는 문제점이 있다. 제스쳐 입력은 타인이 쉽게 볼 수 있어 도용 가능성이 있으며, 제스쳐 입력을 검출하기 위해 고가의 센서가 요구되는 문제점이 있다.
한편 전자 장치에서 사용자 인증을 위해서 비밀번호 입력, 제스쳐 입력, 생체 신호 등 다양한 형태의 입력들이 이용되고 있다. 그런데 비밀번호 입력, 제스쳐 입력은 타인에게 도용되기 쉬운 문제점이 있다. 생체 신호 입력은 DNA, 귀 구조, 홍채, 망막, 얼굴 인식, 지문, 손가락 구조, 손 구조, 걸음걸이(Gait), 냄새(odour), 정맥, 음성 등으로부터 추출된 생체 신호를 이용한 입력이다. 이러한 생체 신호 입력은 도용 가능성은 떨어지지만, 도용된 경우에도 변경이 불가능한 한계가 있다.
본 발명의 실시예들은, 사용자가 크게 신경 쓰지 않고 자연스럽게 전자 장치에 입력할 수 있는 형태의 입력 신호를 제공하기 위한 것이다.
또한 본 발명의 실시예들은, 타인에 의해 도용되기 어려운 형태의 입력 신호를 제공하기 위한 것이다.
또한, 본 발명의 실시예들은, 비교적 저가의 소자인 마이크로폰을 이용하여 저비용으로 구현 가능한 형태의 입력 신호를 제공하기 위한 것이다. 나아가 소리 입력이면서도 노이즈에 강한 입력 신호를 제공하기 위한 것이다.
또한, 본 발명의 실시예들은, 사용자가 쉽게 변경할 수 있고, 경우의 수가 많은 형태의 입력 신호를 제공하기 위한 것이다.
본 개시의 일 실시예의 일 측면에 따르면,
음향 신호를 입력 받는 마이크로폰; 및
상기 음향 신호로부터 마찰음을 검출하고, 상기 검출된 마찰음의 특성을 분석하여 마찰 속성을 결정하고, 상기 마찰 속성에 대응하는 제어 명령을 수행하는 처리부를 포함하는 전자 장치가 제공된다.
상기 처리부는, 상기 음향 신호의 크기 변화를 이용하여 마찰음을 검출할 수 있다.
상기 전자 장치는, 마찰 속성에 따른 제어 명령을 나타내는 제어 리스트를 저장하는 저장부를 더 포함하고, 상기 처리부는, 상기 제어 리스트로부터 상기 결정된 마찰 속성에 대응하는 제어 명령을 선택할 수 있다.
상기 처리부는, 상기 마찰음의 주파수 분포에 기초하여 상기 마찰 속성을 결정할 수 있다.
상기 마찰음은 상기 전자 장치와 신체의 일부가 접촉한 상태에서 생성될 수 있다.
상기 전자 장치는 움직임을 검출하는 모션 센서를 더 포함하고, 상기 처리부는, 상기 모션 센서의 검출값에 기초하여 상기 전자 장치의 움직임을 검출하고, 상기 검출된 움직임과 상기 마찰음의 조합에 대응하는 동작을 수행할 수 있다.
상기 처리부는, 상기 마찰음 중 20Hz와 20KHz 사이의 주파수 범위에 속하는 데이터에 기초하여 상기 마찰 속성을 결정할 수 있다.
상기 처리부는, 상기 마찰음을 이용하여 사용자 인증을 수행할 수 있다.
상기 전자 장치는 근육의 움직임을 검출하는 근전도 센서를 더 포함하고, 상기 처리부는, 상기 근전도 센서의 검출값에 기초하여 근육의 움직임을 판별하고, 상기 판별된 근육의 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행할 수 있다.
상기 전자 장치는 지문을 검출하는 지문 인식 센서를 더 포함하고, 상기 처리부는, 상기 검출된 지문과 상기 마찰음의 조합에 대응하는 제어 명령을 수행할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면,
음향 신호를 입력 받는 단계;
상기 음향 신호로부터 마찰음을 검출하는 단계;
상기 검출된 마찰음의 특성을 분석하여 마찰 속성을 결정하는 단계; 및
상기 마찰 속성에 대응하는 제어 명령을 수행하는 단계를 포함하는 전자 장치 제어 방법이 제공된다.
상기 마찰음을 검출하는 단계는, 상기 음향 신호의 크기 변화를 이용하여 마찰음을 검출하는 단계를 포함할 수 있다.
상기 전자 장치 제어 방법은, 마찰 속성에 따른 제어 명령을 나타내는 제어 리스트로부터 상기 결정된 마찰 속성에 대응하는 제어 명령을 선택하는 단계를 더 포함할 수 있다.
상기 마찰 속성을 결정하는 단계는, 상기 마찰음의 주파수 분포에 기초하여 상기 마찰 속성을 결정할 수 있다.
상기 마찰음은 전자 장치와 신체의 일부가 접촉한 상태에서 생성할 수 있다.
상기 전자 장치 제어 방법은, 전자 장치의 움직임을 검출하는 단계를 더 포함하고, 상기 제어 명령을 수행하는 단계는, 상기 검출된 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행할 수 있다.
상기 마찰 속성을 결정하는 단계는, 상기 마찰음 중 20Hz와 20KHz 사이의 주파수 범위에 속하는 데이터에 기초하여 상기 마찰 속성을 결정할 수 있다.
상기 제어 명령을 수행하는 단계는, 상기 마찰음을 이용하여 사용자 인증을 수행하는 단계를 포함할 수 있다.
상기 전자 장치 제어 방법은, 근전도 센서를 이용하여 근육의 움직임을 판별하는 단계를 더 포함하고, 상기 제어 명령을 수행하는 단계는, 상기 검출된 근육의 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는 단계를 포함할 수 있다.
상기 전자 장치 제어 방법은, 지문을 검출하는 단계를 더 포함하고, 상기 제어 명령을 수행하는 단계는, 상기 검출된 지문과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 상기 전자 장치 제어 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 실시예들에 따르면, 사용자가 크게 신경 쓰지 않고 자연스럽게 전자 장치에 입력할 수 있는 형태의 입력 신호를 제공할 수 있는 효과가 있다.
또한 본 발명의 실시예들에 따르면, 타인에 의해 도용되기 어려운 형태의 입력 신호를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 비교적 저가의 소자인 마이크로폰을 이용하여 저비용으로 구현 가능한 형태의 입력 신호를 제공할 수 있는 효과가 있다. 나아가 소리 입력이면서도 노이즈에 강한 입력 신호를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 사용자가 쉽게 변경할 수 있고, 경우의 수가 많은 형태의 입력 신호를 제공할 수 있는 효과가 있다.
도 1은 일 실시예에 따라 마찰음 입력을 생성하는 방식을 나타낸 도면이다.
도 2는 일 실시예에 따른 전자 장치(100a)의 구조를 나타낸 블록도이다.
도 3은 일 실시예에 따라 마찰 속성에 따른 제어 명령을 정의한 제어 리스트를 나타낸 도면이다.
도 4는 일 실시예에 따라 마찰 속성에 따른 제어 명령을 정의한 제어 리스트를 나타낸 도면이다.
도 5는 신체에 의해 마찰음이 생성되는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 엄지손가락으로 검지손가락을 문지르는 동작에 의해 마찰음 입력이 생성되었을 때, 마이크로폰(110)에서 검출된 신호를 나타낸 도면이다.
도 7은 손가락 끝 마디 부근에 마이크로폰(110)이 배치된 상태에서, 엄지손가락으로 검지손가락의 안쪽 마디를 문지르는 경우와 끝 마디를 문지르는 경우의 마찰음 입력의 주파수 분포를 나타낸다.
도 8은 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
도 9는 다른 실시예에 따른 전자 장치(100b)의 구조를 나타낸 도면이다.
도 10은 본 발명의 실시예들을 노이즈가 있는 환경에서 실험한 결과를 나타낸 표이다.
도 11은 진공 청소기를 이용중인 환경에서 마찰음 입력을 수신한 실험 결과를 나타낸 도면이다.
도 12는 외부 소리가 마이크로폰(110)의 막(1230)으로 전달되는 과정을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 전자 장치(100)의 핀 홀(1220)을 손가락으로 막은 상태로 마찰음 입력을 생성하는 경우, 전자 장치(100)에서 검출되는 음향 신호를 나타낸 도면이다.
도 14는 일 실시예에 따라 손가락을 이용해 식별 가능한 마찰 속성을 가진 마찰음 입력을 생성하는 사용자의 동작을 나타낸 도면이다.
도 15는 일 실시예에 따라 마찰음 입력이 기존의 터치 입력에 어떻게 대응되고, 어떠한 제어 명령로 정의될 수 있는지를 설명한 도면이다.
도 16은 일 실시예에 따른 마찰음 입력을 생성하는 동작을 나타낸 도면이다.
도 17은 일 실시예에 따라 마찰음 입력을 입력하는 방식을 설명하기 위한 도면이다.
도 18은 핀 홀(1220)을 신체의 일부로 막았을 때의 음향 신호의 특성을 나타낸 도면이다.
도 19는 핀 홀(1220)을 신체의 일부로 막고 있다가 떼었을 때의 음향 신호의 특성을 나타낸 도면이다.
도 20은 일 실시예에 따라 마찰음 입력을 입력하는 방식을 설명하기 위한 도면이다.
도 21은 일 실시예에 따라 웨어러블 장치 형태의 전자 장치(100)를 착용한 상태에서 마찰음 입력을 입력 받는 모습을 도시한 도면이다.
도 22는 일 실시예에 따라 마찰음 입력을 생성하는 동작을 취하는 신체 부분을 마이크로폰(110)에 대응하는 위치에 형성된 핀 홀(1220)에 인접하게 배치시켜 마찰음 입력을 생성하는 모습을 도시한 도면이다.
도 23은 일 실시예에 따른 전자 장치(100c)의 구조를 나타낸 도면이다.
도 24는 일 실시예에 따라 모션 입력과 마찰음 입력을 함께 이용하여 전자 장치(100c)를 제어하는 방법을 설명하기 위한 도면이다.
도 25는 일 실시예에 따라 모션 입력과 마찰음 입력을 함께 이용하여 전자 장치(100c)를 제어하는 방법을 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
도 27은 일 실시예에 따른 전자 장치(100d)의 구조를 나타낸 도면이다.
도 28은 일 실시예에 따라 근전도 입력과 마찰음 입력을 함께 이용하여 전자 장치(100d)를 제어하는 방법을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
도 30은 일 실시예에 따른 전자 장치(100e)의 구조를 나타낸 도면이다.
도 31은 일 실시예에 따라 지문 입력과 마찰음 입력을 함께 이용하여 전자 장치(100e)를 제어하는 방법을 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
도 33은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)를 온 오프시키는 제어 명령을 도시한다.
도 34는 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 접촉한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
도 35는 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
도 36은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
도 37은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
도 38은 일 실시예에 따라 마찰음 입력을 이용하여 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 39는 일 실시예에 따라 VR(virtual reality) 기기 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 40은 일 실시예에 따라 스마트 안경 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 41은 일 실시예에 따라 콘센트 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 42은 일 실시예에 따라 가열 기구 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 43은 일 실시예에 따라 생활 가전 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
도 44는 일 실시예에 따른 스마트 웨어 형태의 전자 장치(100)를 제어하는 모습을 나타낸 도면이다.
도 45는 일 실시예에 따라 웨어러블 디바이스 형태의 전자 장치(100)를 이용하여 운동 기구(4510)를 제어하는 모습을 나타낸 도면이다.
도 46은 일 실시예에 따라 체중계 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 47은 일 실시예에 따라 스마트 반지 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 48은 일 실시예에 따라 이어폰 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 49는 일 실시예에 따라 이어폰 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 50은 일 실시예에 따른 의료 기기 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 51은 일 실시예에 따른 인바디 칩 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 52는 일 실시예에 따른 외장형 저장 장치 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
도 53는 일 실시예에 따른 전자 장치(100f)의 구성을 나타내는 블록도이며, 도 53에 도시된 구성은 실시예들에 따른 전자 장치(100, 100a, 100b, 100c, 100d, 100e)에 모두 적용될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시예들은, 신체에 의해 생성된 마찰음을 이용하여, 입력 신호를 생성한다. 여기서 신체에 의해 생성된 마찰음이라 함은, 신체의 일부와 신체의 일부의 마찰에 의해 생성되는 소리, 또는 신체의 일부와 다른 물체와의 마찰에 의해 생성되는 소리이다. 예를 들면, 신체에 의해 생성된 마찰음은, 두 손가락 사이의 마찰음, 손으로 다른 물체를 문지를 때 발생하는 마찰음 등일 수 있다.
본 명세서에서 마찰음 입력이라 함은, 신체에 의해 생성된 마찰음을 전자 장치의 입력 신호로서 이용하는 것을 의미한다. 본 개시의 실시예들에 따른 전자 장치는 마이크로폰을 이용하여 음향 신호를 입력 받고, 입력 받은 음향 신호로부터 마찰음을 검출하고, 상기 마찰음을 상기 전자 장치의 입력 신호로서 이용할 수 있는데, 이러한 형태의 입력을 마찰음 입력이라고 지칭한다. 전자 장치는 마이크로폰을 이용하여 마찰음 입력을 수신할 수 있다.
도 1은 일 실시예에 따라 마찰음 입력을 생성하는 방식을 나타낸 도면이다.
일 실시예에 따르면, 사용자는 손가락을 서로 문지르는 동작을 수행하여 마찰음 입력을 생성할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 사용자는 손을 전자 장치(100, 이하 '100'은 본 명세서의 실시예들에 따른 전자 장치를 통칭한다)에 접촉하거나 근접하게 이동시킨 후(S102), 두 손가락을 문지르는 동작을 취한다(S104). 이러한 동작에 의해 사용자의 손가락 사이에서 마찰음이 발생하고, 이러한 마찰음이 전자 장치(100)의 마이크로폰(110)에 의해 검출되어, 마찰음 입력이 전자 장치(100)로 입력된다.
도 2는 일 실시예에 따른 전자 장치(100a)의 구조를 나타낸 블록도이다.
본 실시예에 따른 전자 장치(100a)는 마이크로폰(110) 및 처리부(120a)를 포함한다.
마이크로폰(110)은 음향 신호를 입력 받는다. 마이크로폰(110)은 공기, 물 등의 매질을 통해 전달되는 소리를 전기적인 신호로 변환한다. 마찰음 입력은 음향 신호의 형태로 전자 장치(100a) 외부로부터 전자 장치(100a)로 전달되는데, 마이크로폰(110)은 이러한 음향 신호 형태의 마찰음 입력을 전기적인 신호로 변환하여 검출한다.
일 실시예에 따르면, 처리부(120a)는 마찰음 입력을 수신하기 위해 마이크로폰(110)을 활성화시키는 동작 모드를 별도로 설정할 수 있다. 예를 들면, 전자 장치(100a)에서 음악 재생 중, 마찰음 입력으로 음악 재생과 관련된 기능을 제어하는 경우, 마이크로폰(110)은 마찰음 입력을 수신하기 위해 음악 재생 중에 활성화 될 수 있다. 다른 예로서 전자 장치(100a)가 슬립 모드인 상태에서 마찰음 입력으로 전자 장치(100a)를 활성화 모드로 변환하는 경우, 처리부(120a)는 슬립 모드에서 마이크로폰(110)을 활성화시킬 수 있다.
처리부(120a)는 마찰음 입력으로부터, 마찰음이 생성된 신체 부위 또는 마찰음을 생성하는 신체의 움직임의 종류에 의해 결정되는 마찰 속성을 결정하고, 상기 마찰 속성에 대응하는 제어 명령을 수행한다.
마찰 속성은 마찰음이 생성된 신체 부위 또는 마찰음을 생성하는 신체 동작의 종류에 의해 결정된다. 상기 마찰음을 생성하는 신체 동작의 종류는, 마찰이 발생하는 위치의 이동방향 및 마찰 방식 중 적어도 하나 또는 이들의 조합에 의해 결정된다.
마찰음이 생성된 신체 부위는, 예를 들면, 손가락, 발, 귓바퀴, 손등 등으로 구분될 수 있다. 또한 마찰음이 생성된 신체 부위는, 손가락 내에서도, 손가락 안쪽 마디, 가운데 마디, 끝 마디로 구분될 수 있다. 또한 마찰음이 생성된 신체 부위는, 신체와 마찰을 일으킨 물체의 종류에 따라 손과 의류, 손과 이어폰 등으로 구분될 수 있다. 일 실시예에 따르면, 마찰음이 생성된 신체 부위는 마찰음 특성을 이용하여 판별 될 수 있다. 마찰음 특성을 판별할 때, 주파수 대역 별 감쇄 특성, 동일 진폭 내의 주파수 감쇄의 변화 등이 이용 될 수 있다.
신체의 움직임의 종류는 예를 들면, 한 손가락으로 다른 손가락을 문지르는 동작, 한 손가락 끝으로 다른 손가락 끝을 치는 동작 등으로 구분될 수 있다. 일 실시예에 따르면, 신체의 움직임의 종류는 마찰음의 특성으로 판별 될 수 있다. 처리부(120a)는 마찰음의 특성을 판별할 때, 음향의 진폭, 진폭 변화의 횟수, 시간에 따른 진폭의 기울기 등을 이용할 수 있다.
일 실시예에 따르면, 처리부(120a)는 기계 학습(machine-learning) 방법을 이용하는 소프트웨어 모듈을 통해 소리를 분석하고, 마찰 속성을 판별할 수 있다. 예를 들면, 처리부(120a)는 음성 인식에서 이용되는 기계 학습 방법을 이용할 수 있다. 이러한 경우, 처리부(120a)는 손가락 조직의 진동 주파수 및 음색 소리 특성을 인식하고, 인식된 진동 주파수 및 음색 소리 특성을 미리 저장된 템플릿과 비교하여, 마찰 속성을 판별할 수 있다.
일 실시예에 따르면, 상기 기계 학습 방법은 사용자로부터 마찰음 입력을 피드백 받아 전자 장치(100a)에서 정의된 각각의 마찰 속성의 음파 특성을 나타내는 템플릿을 조절하는 방식으로 수행될 수 있다. 우선 전자 장치(100a)는 사용자에게 마찰음 입력에 대한 가이드로서, 정의된 마찰 속성을 갖는 마찰음 입력에 대한 정보를 표시한다. 마찰음 입력에 대한 정보는 정의된 마찰 속성을 갖는 마찰음 입력을 생성하는 방법에 대한 정보로서, 예를 들면, 검지 손가락으로 엄지 손가락을 쓸어 올림, 검지 손가락으로 엄지 손가락을 두드림 등으로 표시될 수 있다. 사용자는 전자 장치(100a)에 표시된 마찰음 입력에 대한 정보에 따라 마찰음을 생성하고, 전자 장치(100a)는 마찰음에 의한 음향 신호를 검출한다. 예를 들면, 전자 장치(100a)의 설정 메뉴 등에서 마찰음 입력에 대한 정보를 표시하고, 음향 신호를 검출하는 GUI를 제공한다. 전자 장치(100a)는 상기 검출된 음향 신호에 근거하여 정의된 마찰 속성에 대한 템플릿을 조절할 수 있다. 예를 들면, 전자 장치(100a)는 검출된 음향 신호의 음파 특성에 따라, 정의된 마찰 속성에 대한 템플릿의 음파 특성을 조절한다.
마찰 속성에 대응하는 제어 명령은 예를 들면, 전자 장치(100a)의 온 오프, 소리 출력의 볼륨 조절, 전화 받기, 사용자 인증 등을 포함한다. 또한 마찰 속성 별로 서로 다른 제어 명령이 정의될 수 있다. 예를 들면, 전자 장치(100a)에서 음악 재생 중에, 손가락 끝 마디로부터 안쪽 마디 방향으로 손가락을 쓸어 내리면 볼륨이 내려가고, 손가락 안쪽 마디로부터 끝 마디 방향으로 손가락을 쓸어 올리면 볼륨이 올라가도록 마찰 속성에 대응하는 제어 명령이 정의될 수 있다.
마찰 속성에 대응하는 제어 명령은 미리 정의되어 있을 수 있다. 일 실시예에 따르면, 마찰 속성에 대응하는 제어 명령에 대한 정보는 미리 정의되어 전자 장치(100a)에 구비된 저장부에 저장되어 있을 수 있다. 다른 실시예로서, 전자 장치(100a)는 마찰 속성에 대응하는 제어 명령에 대한 정보를 네트워크를 통해 다른 장치로부터 수신할 수 있다.
도 3은 일 실시예에 따라 마찰 속성에 따른 제어 명령을 정의한 제어 리스트를 나타낸 도면이다.
일 실시예에 따르면, 전자 장치(100a)는 마찰 속성에 따라 정의된 제어 명령에 대한 정보를 나타내는 제어 리스트를 저장하고, 마찰음 입력이 검출되면 제어 리스트로부터 마찰 속성에 대응하는 제어 명령을 검색할 수 있다. 일 실시예에 따르면, 제어 리스트에서 주파수 특성, 횟수 및 마찰 방향에 따라 제어 명령이 정의될 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 온도 조절 장치 형태의 전자 장치(100a)에서, 제1 주파수 특성(302)이 연속으로 2회 검출되면, 잠금 해제(unlock)에 해당하는 제어 명령이 실행되고, 제2 주파수 특성(304)이 1회 검출되면, 온도 상승(up)에 해당하는 제어 명령이 실행되고, 제3 주파수 특성(306)이 1회 검출되면 온도 하강(down)에 해당하는 제어 명령이 실행될 수 있다.
도 4는 일 실시예에 따라 마찰 속성에 따른 제어 명령을 정의한 제어 리스트를 나타낸 도면이다.
일 실시예에 따르면, 서랍 잠금 장치 형태의 전자 장치(100a)에서, 제4 주파수 특성(402)이 2회 검출된 후 제5 주파수 특성(404)이 1회 검출되면, 잠금 설정 및 잠금 해제에 해당하는 제어 명령이 실행되고, 제6 주파수 특성(406)이 1회 검출되면, 알림 모드 설정에 해당하는 제어 명령이 실행되고, 제7 주파수 특성(408)이 1회 검출되면, 알림 모드 해제에 해당하는 제어 명령이 실행될 수 있다.
도 5는 신체에 의해 마찰음이 생성되는 과정을 설명하기 위한 도면이다.
신체 조직을 문지르면, 탄성이 있는 피부 조직에서 무질서한 진동(chaotic oscillation)이 발생한다. 이러한 무질서한 진동은 마찰의 비선형적인 특성에 의해 야기된다. 이러한 진동은 신체 조직을 통해 전달되는 소리를 생성한다.
도 5에 도시된 바와 같이, 신체 조직과 같이 탄성이 있는 제1 물체(510)를 제2 물체(520)에 문지르면, 제1 물체(510)가 제2 물체(520)의 형태에 맞게 변형되면서 밀착된다(S502). 계속해서 제1 물체(510)를 제2 물체(520)와 접촉한 상태에서 이동시키면, 제1 물체(510)에서 변형이 일어나고, 변형에 대한 복원력으로 인해 제2 물체(520) 방향으로 가해지는 힘이 발생한다(S504). 이로 인해, 제1 물체(510)는 다시 제2 물체(520)에 밀착되고 마찰이 발생하여 마찰음이 발생한다(S506).
신체 조직에 의해 마찰음이 생성된 경우, 넓은 주파수 대역에 걸쳐서 음파가 발생한다. 이렇게 생성된 음파는 신체 조직을 통해 전자 장치(100a)의 마이크로폰(110)으로 전달된다. 음파는 다른 종류의 매질에서 높은 반사율을 보이기 때문에 신체 조직을 통해 음파가 전파될 때, 음파가 공기 중으로 손실되는 비율은 매우 낮다. 그런데 음파가 신체 조직을 통해 전달될 때, 신체 조직에 의해 음파가 흡수되는데, 신체 조직은 고주파에 대한 흡수율이 높다. 신체 조직의 불균등성에 때문에, 고주파 성분이 저주파 성분에 비해 더 감쇄된다. 이로 인해 신체 조직에 의해 전달된 음파는, 신체 조직에 의해 고주파 성분이 흡수된 상태로 마이크로폰(110)으로 전달된다. 그런데 마찰음이 생성된 신체 부위의 위치가 마이크로폰(110)으로부터 멀수록 신체 조직을 통해 음파가 전달되는 거리가 늘어나고, 그로 인해 고주파 성분이 흡수되는 정도가 증가한다. 예를 들면, 손가락 끝이 마이크로폰(110)에 가깝게 배치된 상태에서, 손가락 끝을 문지르는 동작에 의해 생성된 마찰음 입력은 손가락 안쪽 마디를 문지르는 동작에 의해 생성된 마찰음 입력에 비해 고주파 스펙트럼 노이즈 성분을 더 가지고 있다. 따라서 처리부(120a)는 마이크로폰(110)에서 검출된 음향 신호의 주파수 분포에 기초하여 마찰음이 발생한 신체 조직의 위치를 판단할 수 있다.
도 6은 일 실시예에 따라 엄지손가락으로 검지손가락을 문지르는 동작에 의해 마찰음 입력이 생성되었을 때, 마이크로폰(110)에서 검출된 신호를 나타낸 도면이다.
앞서 설명한 바와 같이, 마찰음 입력의 신호는 마이크로폰(110)으로부터 먼 곳에서 마찰이 발생할수록 고주파 성분이 감소하는 특성을 갖는다. 도 6에 나타난 신호 파형을 참조하면, 손가락 끝 마디 부근에 마이크로폰(110)이 있는 경우, 손가락 끝 마디를 문지르는 경우(S602)와 손가락 가운데 마디를 문지르는 경우(S604)에 고주파 성분의 세기가 달라지는 것이 관찰된다.
도 7은 손가락 끝 마디 부근에 마이크로폰(110)이 배치된 상태에서, 엄지손가락으로 검지손가락의 안쪽 마디를 문지르는 경우와 끝 마디를 문지르는 경우의 마찰음 입력의 주파수 분포를 나타낸다.
도 7에 도시된 바와 같이, 손가락 안쪽 마디를 문지른 경우(S702)에 손가락 끝 마디를 문지른 경우(S704)에 비해 고주파 성분의 감쇄가 커진 것을 알 수 있다. 이는 마이크로폰(110)과 거리가 먼 손가락 안쪽 마디를 문지름에 의해 생성된 마찰음이 손가락을 통해 전달되는 과정에서, 신체 조직에 의해 고주파 성분이 흡수되었기 때문이다. 이러한 현상으로 인해, 처리부(120a)는 마찰음 입력이 손가락 안쪽 마디를 문지름에 의한 것인지, 끝 마디를 문지름에 의한 것인지를 판별할 수 있다. 예를 들면, 처리부(120a)는 손가락 안쪽 마디를 문질렀을 때 나타나는 주파수 특성에 대한 템플릿(710)과 손가락 끝 마디를 문질렀을 때 나타나는 주파수 특성에 대한 템플릿(720)을 미리 저장하고, 마찰음 입력의 주파수 특성과 템플릿(710, 720)의 주파수 특성을 비교하여, 해당 마찰음 입력의 마찰 속성을 판별할 수 있다.
일 실시예에 따르면, 처리부(120a)는 마찰음 입력 중 소정 주파수 범위에 속하는 데이터에 기초하여 마찰 속성을 판별할 수 있다. 상기 소정 주파수 범위는 신체 조직에 의한 고주파 성분의 감쇄가 관찰되는 주파수 영역일 수 있다. 일 실시예에 따르면, 상기 소정 주파수 범위는 20Hz 내지 20KHz일 수 있다. 신체 조직을 통한 전파 과정에서 고주파 성분이 감쇄하는 현상은 상기 20Hz 내지 20KHz 범위 내에서 두드러지기 때문에, 처리부(120a)는 해당 주파수 범위에 속하는 데이터에 기초하여 마찰 속성을 판별할 수 있다. 일 실시예에 따르면, 전자 장치(100a)는 상기 소정 주파수 범위의 신호를 통과시키는 밴드 패스 필터를 구비하여, 상기 소정 주파수 범위의 데이터를 기초로 마찰 속성을 판별할 수 있다.
도 8은 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
우선 전자 장치(100a)는 마이크로폰(110)을 이용하여 음향 신호를 입력 받는다(S802). 음향 신호가 입력되면, 처리부(120a)는 입력된 음향 신호로부터 마찰음을 검출한다(S804).
일 실시예에 따르면, 처리부(120a)는 음향 신호의 크기 변화에 기초하여 마찰음을 검출할 수 있다. 예를 들면, 음향 신호의 크기 변화가 소정의 기준 값을 초과하는 경우, 처리부(120a)는 크기 변화가 검출된 시점 또는 그 시점으로부터 소정 구간 앞선 시점을 마찰음 구간의 시작 시점으로 결정하고, 해당 시작 시점으로부터 마찰음을 검출할 수 있다. 또한 상기 시작 시점으로부터 음향 신호의 레벨이 소정 레벨로 유지되는 동안, 마찰음 구간이 유지되고 음향 신호로부터 마찰음이 검출된다. 시작 시점 이후, 음향 신호의 레벨이 소정 레벨 이하로 감소하고, 소정 레벨 이하로 감소한 상태로 소정 시간 동안 유지되면, 마찰음 구간이 종료되고, 마찰음의 검출 처리도 종료될 수 있다.
일 실시예에 따르면, 처리부(120a)는 마찰음의 음파 특성을 이용하여 마찰음으로 판단되는 시간 구간을 결정하고, 해당 구간의 신호를 마찰음이라고 검출할 수 있다. 예를 들면, 마찰음의 음파 특성에 대한 템플릿이 전자 장치(100a)에 미리 저장되고, 처리부(120a)는 상기 마찰음의 음파 특성에 대한 템플릿과 음향 신호를 비교하여 마찰음을 검출할 수 있다. 마찰음의 음파 특성에 대한 템플릿은 주파수 분포, 파형 크기 변화 등의 신호 특성으로 정의될 수 있다. 템플릿과 음향 신호의 비교는, 차 신호 분석, 컨벌루션(convolution) 등의 처리를 이용하여 수행될 수 있다.
일 실시예에 따르면, 처리부(120a)는 마찰음을 검출할 때, 음향 신호의 크기 변화 및 음파 특성을 함께 고려하여, 마찰음을 검출할 수 있다.
처리부(120a)는 검출된 마찰음의 특성을 분석하여, 마찰 속성을 결정한다(S806). 예를 들면, 처리부(120a)는 마찰음의 주파수 분포를 미리 저장된 템플릿과 비교하여 마찰 속성을 결정할 수 있다.
마찰 속성이 결정되면, 처리부(120a)는 마찰 속성에 대응하는 제어 명령을 수행한다(S808). 마찰 속성에 대응하는 제어 명령에 대한 정보는 앞서 설명한 바와 같이 미리 정의되어 있을 수 있다.
도 9는 다른 실시예에 따른 전자 장치(100b)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(100b)는 마이크로폰(110), 아날로그 디지털 컨버터(Analog-digital converter, ADC, 910), 처리부(120b), 출력부(920), 및 저장부(930)를 포함한다. 본 실시예에 따르면, 마이크로폰(110)을 통해 입력된 아날로그 신호 형태의 마찰음 입력은 ADC(910)에서 디지털 신호로 변환되어 처리부(120b)로 입력된다. 처리부(120b)는 ADC(910)로부터 입력된 마찰음 입력의 마찰 속성을 판별한다. 마찰 속성이 판별되면, 처리부(120b)는 저장부(930)에 저장된 마찰 속성에 대응하는 제어 명령에 대한 정보에 기초하여, 마찰음 입력에 대응하는 제어 명령을 수행한다. 처리부(120b)는 마찰 속성에 대응하는 제어 명령의 결과를 출력부(920)로 출력한다.
출력부(920)는 예를 들면, 표시부, 터치스크린, 스피커, LED 표시등, 진동 소자 등일 수 있다. 일 실시예로 마찰음 입력의 결과로 재생 중인 음악의 볼륨이 올라가는 경우, 스피커를 통해 출력되는 소리의 크기가 커질 수 있다. 다른 실시예로서, 마찰음 입력의 결과 사용자 인증이 수행된 경우, 사용자 인증이 수행된 결과 진행되는 다음 프로세스에 대응하는 화면이 표시부에 표시될 수 있다.
본 발명의 실시예들은, 낮은 비용과 작은 공간으로 구현 가능한 장점이 있다. 마찰음 입력을 이용하기 위해서, 실시예들에 따른 전자 장치(100)에서 마이크로폰(110)이 요구된다. 마이크로폰(110)은 스마트폰, 스마트 워치, 태블릿 PC, 스마트 안경 등 다양한 전자 장치에서 이미 채용되고 있는 구성요소이다. 따라서 이미 구비된 마이크로폰을 이용하여 추가 비용 없이 마찰음 입력을 이용할 수 있다. 또한 마이크로폰은 매우 저렴하고 작은 소자이다. 예를 들면, 마이크로폰은 US$ 0.5 이하의 가격에 구매 가능하고, 그 크기는 1cm 이하의 제품이 다수 출시되고 있으며, 1mm 정도의 제품도 판매되고 있다. 이처럼 본 발명의 실시예를 구현하는데 필요한 마이크로폰은 매우 작고 저렴한 소자로서 다양한 종류의 전자 장치에 저비용으로 채용 가능하며, 공간적인 제약 또한 매우 적다.
또한 본 발명의 실시예들은, 사용자가 장치를 직접 보지 않고도, 전자 장치(100)에 마찰음 입력을 입력할 수 있는 장점이 있다. 실시예들에 따르면, 사용자는 전자 장치(100)에 손을 가까이 가져가거나 손을 전자 장치(100)에 접촉한 상태에서 마찰음 입력을 발생시키는 동작을 취하면, 마찰음 입력을 발생시킬 수 있다. 이러한 동작은 사용자가 전자 장치(100)를 직접 보지 않더라도 전자 장치(100)가 어디에 있는지 알기만 하면 취할 수 있는 동작으로서, 사용자가 쉽게 마찰음 입력을 이용하여 전자 장치(100)를 조작할 수 있는 효과가 있다.
또한 본 발명의 실시예들에 따른 마찰음 입력은 쉽게 다른 종류의 입력과 결합이 가능한 장점이 있다. 마찰음 입력을 손가락을 이용하여 발생시키는 경우, 사용자가 전자 장치(100)에 구비된 지문 인식 센서에 손가락을 터치한 상태에서 마찰음 입력을 발생시킬 수 있기 때문에, 전자 장치(100)가 지문 입력과 마찰음 입력을 용이하게 동시에 획득할 수 있는 효과가 있다. 다른 예로서, 전자 장치(100)가 자이로 센서 등을 이용하여, 사용자가 마찰음 입력을 발생시키는 동작에서 수반되는 사용자의 제스쳐를 검출함으로써, 모션 입력과 마찰음 입력을 동시에 얻을 수 있다. 다른 예로서, 전자 장치(100)가 근전도 센서 등을 이용하여, 사용자가 마찰음 입력을 발생시키는 동작 시 수반되는 근육의 움직임을 검출함으로써, 근육의 움직임에 대한 정보와 마찰음 입력을 동시에 얻을 수 있다.
또한 본 발명의 실시예들에 따른 마찰음 입력은 쉽게 변경할 수 있는 장점이 있다. 특히 마찰음 입력이 사용자 인증을 위한 암호로 이용되는 경우, 암호로 설정된 마찰 속성을 변경할 수 있는 장점이 있다. 최근 지문, 정맥, 홍채, 망막, DNA 등 생체 신호를 이용하여 사용자 인증을 하려는 다양한 시도들이 있는데, 이러한 생체 신호는 변경이 불가능한 한계가 있다. 그러나 마찰음 입력은 다양한 조합의 마찰 속성 중 사용자가 원하는 마찰 속성으로 쉽게 변경이 가능하기 때문에, 사용자 인증에 이용되는 마찰 속성을 변경하여 보안성을 높일 수 있다.
또한 본 발명의 실시예들은 도용 가능성이 매우 낮은 장점이 있다. 마찰음 입력을 사용자 인증을 위한 암호로 이용하는 경우, 사용자는 타인에게 잘 보이지 않는 동작을 통해 마찰음 입력을 생성함에 의해 도용 가능성을 낮출 수 있다. 예를 들면, 사용자가 문지르는 손가락 마디의 조합으로 사용자 인증을 위한 마찰 속성을 설정한 경우, 마찰음 입력을 생성하기 위해 정해진 순서로 각 손가락 마디를 문지르더라도 다른 사람이 그 순서나 정확한 동작을 알기는 어렵다. 따라서 사용자는 타인에게 잘 보이지 않는 동작으로 사용자 인증을 위한 마찰 속성을 설정하여, 보안성을 높일 수 있다.
또한 본 발명의 실시예들은 생성할 수 있는 마찰음 입력의 경우의 수가 거의 무한한 장점이 있다. 마찰음 입력은 매우 다양한 동작에 의해 마찰음이 생성될 수 있기 때문에 경우의 수가 거의 무한하다. 만약 손으로 마찰음 입력을 생성하는 것으로 한정하더라도, 손가락을 이용하여 마찰음을 발생시킬 수 있는 동작이 매우 다양하므로, 마찰음 입력의 경우의 수가 매우 많다. 마찰음 입력을 사용자 인증을 위한 암호로 이용하는 경우, 경우의 수가 많음으로 인해 보안성이 더욱 우수해진다. 또한 마찰음 입력을 전자 장치(100)를 제어하기 위한 명령으로 이용하는 경우, 사용자가 이용할 수 있는 마찰음 입력의 경우의 수가 많으므로, 다양한 형태의 마찰 속성을 이용하여 많은 수의 명령을 설정할 수 있다.
도 10은 본 발명의 실시예들을 노이즈가 있는 환경에서 실험한 결과를 나타낸 표이다.
마찰음 입력은 전자 장치(100)에 신체를 접촉한 상태에서 사용자가 마찰음을 발생시켰을 때, 노이즈에 매우 강한 특성이 있다. 스마트폰을 이용하여 실험한 결과, 도 10에 도시된 바와 같이, 마찰음 입력은 신체가 스마트폰과 접촉한 상태에서 입력되는 경우, 외부 소음이 70dB까지 올라가도 5% 이하의 에러율을 나타낸다. 70dB의 노이즈 레벨은 예를 들면 샤워할 때, 식기세척기가 동작할 때의 노이즈 레벨인데, 이러한 노이즈 레벨은 일상 생활 중 높은 노이즈 레벨에 속하는 것이다. 따라서 본 발명에 따른 마찰음 입력은 높은 노이즈 레벨에서도 이용 가능한 정도의 에러율을 나타내고 있다.
도 11은 진공 청소기를 이용중인 환경에서 마찰음 입력을 수신한 실험 결과를 나타낸 도면이다.
도 11은 72dB 정도의 노이즈 레벨을 갖는 진공 청소기를 동작시키는 환경에서 실험한 결과이다. 진공 청소기를 동작시키는 동안, 사용자가 T1 시간 구간에서는 손가락 끝 마디로부터 안쪽 마디로 쓸어 내리는 동작을 통해 마찰음 입력을 생성시키고, T2 시간 구간에서는 손가락 안쪽 마디로부터 손가락 끝 마디로 쓸어 올리는 동작을 통해 마찰음 입력을 생성시키고, T3 시간 구간에서는 손가락 가운데 마디를 문지르는 동작을 통해 마찰음 입력을 생성시켰다. 도 9에 도시된 바와 같이, 진공 청소기를 동작시키는 환경에서도 마찰음 입력으로 인해 피크 값을 나타내는 신호가 화살표로 표시한 부분에서 나타나는 것이 관찰되었다. 이러한 결과에 비추어 보았을 때, 마찰음 입력은 일상 생활 중 매우 높은 노이즈 레벨에 속하는 진공 청소기를 동작시키는 환경에서도 측정 가능한 레벨로 관찰됨을 알 수 있다.
또한 본 발명의 실시예들에 따르면, 전자 장치(100)와 신체가 접촉하지 않은 상태에서 신체를 전자 장치(100)에 인접하게 배치하여 마찰음 입력을 발생시켜도, 이용 가능한 정도의 에러율이 측정되었다. 도 10에 도시된 바와 같이, 외부 소음이 10dB인 경우, 마찰음 입력을 발생시키는 신체 부위와 전자 장치(100)의 거리가 1~2cm 정도 떨어지더라도 10% 이하의 에러율이 측정되었다. 따라서 신체와 전자 장치(100)가 접촉하지 않더라도 인접하게 배치된 상태라면, 마찰음 입력을 이용할 수 있다.
도 12는 외부 소리가 마이크로폰(110)의 막(1230)으로 전달되는 과정을 설명하기 위한 도면이다. 도 12를 참조하여 외부 소리가 공기로 전파되어 전자 장치(100)의 케이스(1210)에 형성된 핀 홀(pinhole, 1220)을 통해 마이크로폰(110)의 막(1230)으로 전달되는 경우와, 일 실시예에 따라 손가락으로 마이크로폰(110)에 대응되는 위치에 형성된 핀 홀(1220)을 막은 상태에서 마찰음 입력이 마이크로폰(110)의 막(1230)으로 전달되는 경우를 비교하여 설명한다.
도 12의 왼편에 도시된 바와 같이, 공기를 통해 외부 소리가 마이크로폰(110)의 막(1230)으로 전달되는 경우, 노이즈와 사용자가 의도한 소리 입력이 모두 마이크로폰(110)의 막(1230)으로 전달된다. 반면 도 12의 오른편에 도시된 바와 같이, 사용자가 손가락으로 핀 홀(1220)을 막은 상태에서 마찰음 입력을 발생시켜 마찰음 입력이 마이크로폰(110)의 막(1230)으로 전달되는 경우, 외부 소음은 거의 차단되고, 손가락 끝으로부터 전달되는 소리만 마이크로폰(110)의 막(1230)으로 전달된다. 왜냐하면 손가락으로 핀 홀(1220)을 막으면, 외부 음파는 거의 마이크로폰(110)의 막(1230)으로 전달되지 않고, 피부의 진동에 의해 발생되는 음파가 주로 핀 홀(1220)을 통해 마이크로폰(110)의 막(1230)으로 전달되기 때문이다. 이러한 현상으로 인해 마찰음 입력은 노이즈에 매우 강한 특성을 갖는다.
도 13은 일 실시예에 따라 전자 장치(100)의 핀 홀(1220)을 손가락으로 막은 상태로 마찰음 입력을 생성하는 경우, 전자 장치(100)에서 검출되는 음향 신호를 나타낸 도면이다. 도 13은 주변 노이즈 13dB에서 실험한 결과이다. 도 13의 그래프의 가로축은 시간 세로 축은 신호 세기를 나타낸다.
손가락으로 핀 홀(1220)을 막은 상태로 마찰음 입력을 생성하는 경우, 도 13에 도시된 바와 같이 전자 장치(100)에서 52dB 정도의 매우 선명한 마찰음 입력의 음파 패턴이 관찰되는 것을 알 수 있다.
도 14는 일 실시예에 따라 손가락을 이용해 식별 가능한 마찰 속성을 가진 마찰음 입력을 생성하는 사용자의 동작을 나타낸 도면이다.
마찰 속성은 마찰음을 생성하는 신체 부위, 마찰이 발생하는 위치의 이동 방향, 마찰 방식(예를 들면, 문지름, 두드림, 긁음 등), 및 마찰 횟수에 의해 정의되거나, 이들의 조합에 의해 정의될 수 있다. 또한 마찰 속성은 마찰음을 생성하는 동작의 순서에 의해 정의될 수 있다.
일 실시예에 따르면, 손가락을 이용하여, 마디 문지름, 두드림, 제1 문지름, 제2 문지름, 제3 문지름, 제1 긁음, 제2 긁음 등과 같은 다양한 동작으로 다른 종류의 마찰음 입력을 생성할 수 있다.
마디 문지름은 손가락의 한 마디를 문지르는 동작이다. 예를 들면, 검지 손가락의 안쪽 마디, 가운데 마디, 및 끝 마디 중 하나를 엄지 손가락으로 문지를 수 있다. 일 실시예에 따르면, 마디 문지름은 손가락의 한 마디를 제1 방향으로 문지르는 제1 마디 문지름(1410)과 손가락의 한 마디를 제2 방향으로 문지르는 제2 마디 문지름(1420)은 서로 다른 종류의 마찰 속성으로 정의될 수 있다.
두드림은 두 손가락의 끝 또는 손가락 끝과 마디 등을 서로 부딪히는 동작이다. 예를 들면, 엄지 손가락과 검지 손가락의 끝은 서로 부딪힐 수 있다. 두드림은 실시예에 따라 다양한 횟수로 실행될 수 있다. 일 실시예에 따르면, 두드림의 횟수에 따라 서로 다른 종류의 마찰 속성으로 정의될 수 있다. 또한, 일 실시예에 따르면, 두 손가락의 끝을 서로 부딪히는 동작(1430)과 한 손가락의 끝과 다른 손가락의 마디 등을 서로 부딪히는 동작(1440)은 서로 다른 종류의 마찰 속성으로 정의될 수 있다.
제1 문지름은 한 손가락을 끝 마디로부터 안쪽 마디 방향으로 다른 손가락으로 문지르는 동작이다. 예를 들면, 제1 문지름은 엄지 손가락으로, 검지 손가락을 끝 마디로부터 안쪽 마디 방향으로 문지르는 동작이다. 제2 문지름은 한 손가락을 안쪽 마디로부터 끝 마디 방향으로 다른 손가락으로 문지르는 동작이다. 예를 들면, 제2 문지름은 엄지 손가락으로, 검지 손가락을 안쪽 마디로부터 끝 마디 방향으로 문지르는 동작이다.
제3 문지름은 엄지 손가락으로 다른 손가락을 아래에서 위로 문지르는 동작이다. 일 실시예에 따르면, 소지 손가락으로부터 검지 손가락 방향으로 두 개이 상의 손가락을 문지르는 동작(1450)과, 엄지 손가락으로 검지 손가락으로부터 소지 손가락 방향으로 두 개 이상의 손가락을 문지르는 동작(1460)은 서로 다른 종류의 마찰 속성으로 정의될 수 있다.
제1 긁음은 한 손가락을 안쪽 마디로부터 끝 마디 방향으로 다른 손가락의 손톱을 이용하여 긁는 동작이다. 제2 긁음은 한 손가락을 끝 마디로부터 안쪽 마디 방향으로 다른 손가락의 손톱을 이용하여 긁는 동작이다.
상기 마디 문지름, 두드림, 제1 문지름 내지 제3 문지름, 제1 긁음 내지 제 2 긁음 등의 동작이 실시예에 따라 다양한 횟수로 실행되는 경우, 각기 다른 입력의 제어 명령으로 사용될 수 있다.
도 15는 일 실시예에 따라 마찰음 입력이 기존의 터치 입력에 어떻게 대응되고, 어떠한 제어 명령로 정의될 수 있는지를 설명한 도면이다.
터치 입력은 터치 스크린, 터치 센서 등을 이용하여 전자 장치(100)로 입력될 수 있다. 그런데 스마트 워치, 스마트 안경 등과 같이 터치 스크린 또는 터치 센서를 배치하는데 공간적인 한계가 있는 전자 장치에서는 터치 입력을 이용하는데 제한적이다. 또한 스마트폰, 태블릿 PC 등과 같은 전자 장치에서 터치 입력을 이용하는 경우, 사용자는 전자 장치(100)를 바라본 상태에서 터치 입력을 위한 동작을 취해야 하기 때문에 불편이 따랐다. 일 실시예에 따르면, 도 13에 도시된 바와 같이, 터치 입력을 마찰음 입력으로 대체하는 것이 가능하다.
우선 터치 스크린을 손가락으로 1회 두드리는 탭 형태의 터치 입력은, 1회의 두드림 마찰음 입력으로, 2회의 탭 터치 입력은 2회의 두드림 마찰음 입력으로 대체할 수 있다. 왼쪽으로 터치 스크린을 드래그하는 형태의 터치 입력은 제1 문지름 마찰음 입력으로, 오른쪽으로 터치 스크린을 드래그하는 형태의 터치 입력은 제2 문지름 마찰음 입력으로 대체할 수 있다. 두 손가락으로 터치 스크린을 터치한 상태에서 두 손가락이 서로 멀어지는 방향으로 손가락을 이동시키는 핀치 줌 아웃 터치 입력은 제1 긁음 마찰음 입력으로, 두 손가락으로 터치 스크린을 터치한 상태에서 두 손가락이 서로 가까워지는 방향으로 손가락을 이동시키는 핀치 줌 인 터치 입력은 제2 긁음 마찰음 입력으로 대체할 수 있다. 손가락으로 터치 스크린을 터치한 상태를 소정 시간 동안 유지하는 터치-홀드 형태의 터치 입력은 3회의 두드림 마찰음 입력으로 대체할 수 있다.
두 종류의 마찰음 입력을 조합하여 마찰 속성을 정의하는 것도 가능하다. 예를 들면, 손가락으로 터치 스크린을 터치한 상태를 소정시간 유지하다가 이동하는 홀드-이동 형태의 터치 입력은 3회 두드림과 제1 문지름의 조합에 의한 마찰음 입력으로 대체할 수 있다.
도 16은 일 실시예에 따른 마찰음 입력을 생성하는 동작을 나타낸 도면이다.
일 실시예에 따르면, 한 손가락의 손톱으로 다른 손가락의 피부를 긁는 동작을 마찰음 입력을 생성하기 위한 동작으로 이용할 수 있다. 이러한 동작은 고유의 음파 특성을 가지고 있고 강한 음향 신호를 생성하여, 전자 장치(100)에 의해 식별될 수 있다. 예를 들면, 도 16에 도시된 바와 같이, 사용자가 스마트 워치를 착용한 상태에서 손톱으로 다른 손가락의 피부를 긁는 동작을 취해서 마찰음 입력을 생성하면, 마찰음 입력이 피부 조직을 통해 스마트 워치로 전달된다.
일 실시예에 따르면, 손톱으로 피부를 긁는 동작에 의한 마찰음 입력과 사용자의 움직임을 검출하여 함께 이용함으로써, 마찰음 입력의 검출 정확도를 향상시킬 수 있다. 예를 들면, 전자 장치(100)에 모션 센서(예를 들면, 가속도 센서, 자이로 센서 등)를 구비하고, 마찰음 입력과 사용자의 움직임이 동시에 검출되면, 마찰음 입력의 음파 특성과 검출된 사용자의 움직임을 함께 고려하여 마찰음 입력의 마찰 속성을 판단할 수 있다. 이때 검출되는 사용자의 움직임은 손톱으로 다른 손가락을 긁는 동작을 할 때 수반되는 사용자의 움직임일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 피부 조직 내로 전달되는 음파 또는 공기 중으로 전파되는 피부 마찰음을 모션 센서(예를 들면, 가속도 센서, 자이로 센서 등)의 검출 값 데이터와 결합하여, 사용자의 동작을 인식할 수 있다. 본 실시예에 따르면, 피부 조직 내로 전달되는 음파 또는 공기 중으로 전파되는 피부 마찰음의 세기가 약해 SNR이 다소 떨어지더라도, 모션 센서의 검출 값을 함께 고려함에 의해, 사용자의 동작 검출의 정확도를 향상시킬 수 있다.
일 실시예에 따른 마찰음 입력은 손가락으로 손바닥을 문지르는 동작, 손가락으로 손등을 문지르는 동작, 손가락으로 귀를 문지르는 동작, 손으로 몸통을 문지르는 동작에 의해 생성될 수 있다. 또한, 일 실시예에 따른 마찰음 입력은 손가락이 아닌 손바닥, 손등, 손 옆면 등 다양한 신체 부위를 이용하여 다른 신체 부위를 문지름에 의해 생성될 수 있다.
도 17은 일 실시예에 따라 마찰음 입력을 입력하는 방식을 설명하기 위한 도면이다.
일 실시예에 따르면, 마찰음 입력은 사용자가 마이크로폰(110)에 대응하는 위치에 생성된 핀 홀(1220)을 신체의 일부로 막은 상태에서 마찰음 입력을 생성하기 위한 동작을 취하여 생성될 수 있다. 이러한 경우, 앞서 설명한 바와 같이 노이즈는 차단되고, 신체 조직을 통해 전달되는 음파는 강한 세기로 마이크로폰(110)으로 전달될 수 있다.
핀 홀(1220)을 신체의 일부로 막은 상태를 검출하는 방법은, 실시예에 따라 핀 홀(1220) 주변의 터치 센서를 이용하는 방법, 전자 장치(100)의 움직임 내지는 흔들림을 검출하는 방법, 마이크로폰(110)에서 검출되는 음향 신호의 특성에 의해 검출하는 방법 등이 있다.
도 18은 핀 홀(1220)을 신체의 일부로 막았을 때의 음향 신호의 특성을 나타낸 도면이다.
핀 홀(1220)이 열린 상태에서 핀 홀(1220)을 신체의 일부로 막은 경우, 음향 신호의 파형은 신호의 세기가 세지고, 첫 번째 피크가 양의 방향으로 신호가 상승하는 방향에서 검출되고, 시간 축과의 교차율이 감소하는 특성을 나타낸다. 전자 장치(100)는 이러한 신호의 특성을 검출하여, 핀 홀(1220)을 신체의 일부로 막았음을 검출할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 핀 홀(1220)을 신체의 일부로 막았음을 검출 한 이후 소정의 시간 내에 입력되는 음향 신호의 크기 변화를 통하여 마찰음을 검출 할 수 있다. 예를 들면, 전자 장치(100)는 핀 홀(1220)을 신체의 일부로 막았음을 검출하면, 해당 시점부터 음향 신호로부터 마찰음을 검출하는 처리를 수행한다. 마찰음을 검출하는 처리는 예를 들면, 음향 신호를 미리 저장된 템플릿과 비교하는 처리, 음향 신호의 크기 변화를 검출하는 처리 등일 수 있다.
도 19는 핀 홀(1220)을 신체의 일부로 막고 있다가 떼었을 때의 음향 신호의 특성을 나타낸 도면이다.
핀 홀(1220)을 신체의 일부로 막고 있다가 떼었을 때, 음향 신호의 파형은 신호의 세기가 세지고, 첫 번째 피크가 음의 방향으로 신호가 하강하는 방향에서 검출되고, 시간 축과의 교차율이 감소하는 특성을 나타낸다. 전자 장치(100)는 이러한 신호의 특성을 검출하여, 핀 홀(1220)을 신체의 일부로 막고 있다가 뗐음을 검출할 수 있다.
도 20은 일 실시예에 따라 마찰음 입력을 입력하는 방식을 설명하기 위한 도면이다.
일 실시예에 따르면, 마찰음 입력은 사용자가 신체의 일부를 전자 장치(100)의 케이스(1210)에 접촉한 상태에서 마찰음 입력을 생성하기 위한 동작을 취하여 생성될 수 있다. 이러한 경우, 마찰음이 신체 조직과 전자 장치(100)의 케이스(1210)를 통해 마이크로폰(110)으로 도달한다. 음파는 공기를 통해 전파되는 경우에 비해 전자 장치(100)의 케이스(1210)를 통해 전달되는 경우에 감쇄율이 낮기 때문에, 마찰음 입력의 음파가 강한 세기로 마이크로폰(110)으로 전달될 수 있다.
도 21은 일 실시예에 따라 웨어러블 장치 형태의 전자 장치(100)를 착용한 상태에서 마찰음 입력을 입력 받는 모습을 도시한 도면이다.
웨어러블 장치들은 이용 중에 신체와 접촉하고 있는 경우가 많기 때문에, 웨어러블 장치 형태의 전자 장치(100)가 마찰음 입력을 입력 받는 경우, 전자 장치(100)는 신체의 일부가 전자 장치(100)의 케이스(1210)와 접촉한 상태에서 마찰음 입력을 받게 된다. 이러한 경우, 신체 조직 및 전자 장치(100)의 케이스를 통해 마찰음 입력이 전자 장치(100)로 입력되어, 전자 장치(100)에서 강한 세기의 마찰음 입력의 음향 신호를 검출할 수 있다.
도 22는 일 실시예에 따라 마찰음 입력을 생성하는 동작을 취하는 신체 부분을 마이크로폰(110)에 대응하는 위치에 형성된 핀 홀(1220)에 인접하게 배치시켜 마찰음 입력을 생성하는 모습을 도시한 도면이다.
일 실시예에 따르면, 전자 장치(100)는 마찰음 입력을 생성하는 동작을 취하는 신체 부분이 핀 홀(1220)에 인접하게 배치된 상태에서 마찰음 입력을 수신할 수 있다. 예를 들면, 전자 장치(100)는 마찰음 입력을 생성하는 동작을 취하는 신체 부분이 전자 장치(100)의 핀 홀(1220)로부터 검출 한계 범위 이내에 배치된 상태에서 마찰음 입력을 수신할 수 있다. 상기 검출 한계 범위는 마이크로폰의 감도, 노이즈 제거 성능 등에 의해 결정될 수 있으며, 예를 들면, 2cm 등으로 설정될 수 있다. 본 실시예에 따르면, 사용자가 전자 장치(100)에 접촉하지 않아도 되기 때문에, 사용자가 마찰음 입력을 생성하기 위한 동작을 쉽게 취할 수 있는 장점이 있다.
본 발명의 실시예들에 따르면, 전자 장치(100)는 마찰음 입력과 다른 종류의 입력을 조합하여 이용할 수 있다. 예를 들면, 모션 입력과 마찰음 입력의 조합, 근전도 센서 검출 값과 마찰음 입력의 조합, 지문과 마찰음 입력의 조합 등이 가능하다.
도 23은 일 실시예에 따른 전자 장치(100c)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(100c)는 모션 센서(2310), 마이크로폰(110), 처리부(120c), 및 저장부(930)를 포함한다. 본 실시예에 따른 전자 장치(100c)는 모션 센서(2310)를 구비하고, 모션 센서(2310)에서 검출된 사용자의 움직임과 마이크로폰(110)에서 수신된 마찰음 입력을 함께 고려하여 동작한다.
모션 센서(2310)는 사용자의 움직임을 검출하는 센서로서, 예를 들면, 가속도 센서, 자이로 센서 등을 구비할 수 있다. 모션 센서(2310)는 사용자의 움직임으로 인한 전자 장치(100c)의 움직임을 검출한다. 처리부(120c)는 모션 센서(2310)의 검출 값을 이용하여 사용자의 움직임을 추정할 수 있다.
처리부(120c)는 모션 센서(2310)의 검출 값과 마이크로폰(110)에서 수신된 마찰음 입력이 기준 시간 범위 이내에 검출되었는지 여부, 및 검출된 모션과 수신된 마찰음 입력의 마찰 속성의 조합에 대해 미리 설정된 제어 명령이 있는지 여부를 판단한다. 처리부(120d)는 모션 입력과 마찰음 입력이 기준 시간 범위 이내에 수신되고, 이들에 대해 미리 설정된 제어 명령이 있다면, 대응하는 제어 명령을 수행한다.
저장부(930)는 모션 입력과 마찰음 입력의 여러 조합들 각각에 대해 대응하는 제어 명령에 대한 정보를 저장한다. 상기 제어 명령에 대한 정보는 예를 들면 앞서 설명된 바와 같이 제어 리스트의 형태로 나타낼 수 있다.
일 실시예에 따르면, 마이크로폰(110)과 모션 센서(2310)를 활성화시키는 동작 모드를 별도로 설정할 수 있다. 예를 들면, 전자 장치(100c)가 슬립 모드인 상태에서 마찰음 입력과 모션 입력으로 전자 장치(100c)를 활성화 모드로 변환하는 경우, 슬립 모드에서 마이크로폰(110)과 모션 센서(2310)를 활성화시킬 수 있다.
도 24는 일 실시예에 따라 모션 입력과 마찰음 입력을 함께 이용하여 전자 장치(100c)를 제어하는 방법을 설명하기 위한 도면이다.
본 실시예에 따르면, 스마트 워치 형태의 전자 장치(100c)를 제어함에 있어서, 모션 입력과 마찰음 입력을 함께 이용할 수 있다. 모션 입력은 스마트 워치를 착용한 상태로 손을 내리고 있다가(S2402), 스마트 워치의 표시부가 사용자의 얼굴을 향하도록 손을 올리는(S2404) 동작일 수 있다. 마찰음 입력은 손가락에 의해 생성된 마찰음 입력일 수 있다. 이러한 모션 입력과 마찰음 입력이 기준 시간 범위 이내에 모두 수신되면, 전자 장치(100c)는 대응되는 제어 명령인 전자 장치(100c)의 슬립 모드를 해제하는 제어 명령을 수행할 수 있다. 이러한 경우, 모션 입력만 이용하는 경우, 또는 마찰음 입력만 이용하는 경우에 비해 사용자의 의도가 더욱 명확하게 반영되어, 모션 입력 또는 마찰음 입력의 오작동을 현저하게 감소시킬 수 있는 효과가 있다.
도 25는 일 실시예에 따라 모션 입력과 마찰음 입력을 함께 이용하여 전자 장치(100c)를 제어하는 방법을 설명하기 위한 도면이다.
본 실시예에 따르면, 사용자가 엄지 손가락과 중지 손가락을 서로 맞대고 밀어낼 때, 가운데 손가락이 손바닥을 치면서 발생하는 마찰음에 의한 마찰음 입력을 전자 장치(100c)가 이용하는 경우, 전자 장치(100c)는 이러한 동작에 수반되는 움직임을 검출하여 상기 마찰음 입력과 함께 고려할 수 있다. 예를 들면 전자 장치(100c)는 사용자가 엄지 손가락과 중지 손가락을 서로 맞대고 밀어낼 때, 가운데 손가락이 손바닥을 치면서 발생하는 마찰음에 의한 마찰음 입력과, 이에 수반되는 움직임이 동시에 검출된 경우에만 상기 마찰음 입력이 유효한 마찰음 입력이라고 판단하고, 이러한 마찰음 입력에 대응하는 제어 명령을 수행할 수 있다.
본 실시예에 따른 전자 장치(100c)는 피부와 접촉하는 구성 요소의 표면 또는 내측에 마이크로폰(110)을 구비할 수 있다. 예를 들면, 도 21과 같은 손목 시계 형태의 전자 장치(100c)는 시계줄 부분에 마이크로폰(110)을 구비할 수 있다. 본 실시예에 따르면, 사용자의 동작에 의해 생성된 마찰음이 피부 조직을 통해 전달되어 마이크로폰(110)으로 입력되기 때문에, 마이크로폰(110)에서 강한 세기로 마찰음을 검출할 수 있다.본 실시예에 따르면, 전자 장치(100c)로 입력되는 소리를 마찰음 입력으로 오인하여 오작동하는 경우를 현저하게 감소시킬 수 있는 효과가 있다.
도 26은 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 전자 장치(100c)는 마찰음 입력과 모션 입력을 함께 이용한다. 우선 전자 장치(100c)는 마찰음 입력을 수신하고(S2602), 마찰음 입력으로부터 마찰 속성을 판별한다(S2604). 또한 전자 장치(100c)는 사용자의 움직임에 의한 모션 입력을 수신하고(S2606), 수신된 모션 입력으로부터 움직임을 판별한다(S2608). 마찰음 입력과 모션 입력이 수신되고 판별되면, 전자 장치(100c)는 수신된 마찰음 입력과 모션 입력의 조합에 대응하는 제어 명령이 존재하는지 여부를 판단한다(S2610). 또한, 전자 장치(100c)는 수신된 마찰음 입력과 모션 입력이 기준 시간 범위 이내에 수신되었는지 여부를 판단한다(S2612). 기준 시간 범위는 예를 들면, 0.5초 이내, 1초 이내, 5초 이내 등으로 설정될 수 있다. S2610 단계와 S2612 단계의 순서는 실시예에 따라 변경될 수 있다. S2612 단계가 먼저 수행되고 S2610 단계가 수행되거나, 동시에 수행되는 실시예도 가능하다.
마찰음 입력과 모션 입력의 조합에 대응하는 제어 명령이 존재하고, 두 입력이 기준 시간 범위 이내에 수신되는 경우, 전자 장치(100c)는 대응하는 제어 명령을 수행한다(S2614).
도 27은 일 실시예에 따른 전자 장치(100d)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(100d)는 근전도 센서(2710), 마이크로폰(110), 처리부(120d), 및 저장부(930)를 포함한다. 본 실시예에 따른 전자 장치(100d)는 근전도 센서(2710)를 구비하고, 근전도 센서(2710)에서 검출된 근육의 움직임과 마이크로폰(110)에서 수신된 마찰음 입력을 함께 고려하여 동작한다.
근전도 센서(2710)는 근육의 움직임을 검출하는 센서로서, 근전도를 측정하여 근육의 움직임을 검출한다. 처리부(120d)는 근전도 센서의 검출 값인 근전도 입력을 이용하여, 근육의 움직임을 추정할 수 있다.
처리부(120d)는 근전도 센서(2710)에서 수신된 근전도 입력과 마이크로폰(110)에서 수신된 마찰음 입력이 기준 시간 범위 이내에 수신되었는지 여부, 및 검출된 근육의 움직임과 수신된 마찰음 입력의 마찰 속성의 조합에 대해 미리 설정된 제어 명령이 있는지 여부를 판단한다. 처리부(120d)는 근전도 입력과 마찰음 입력이 기준 시간 범위 이내에 수신되고, 이들에 대해 미리 설정된 제어 명령이 있다면, 대응하는 제어 명령을 수행한다.
도 28은 일 실시예에 따라 근전도 입력과 마찰음 입력을 함께 이용하여 전자 장치(100d)를 제어하는 방법을 설명하기 위한 도면이다.
본 실시예에 따르면, 사용자가 스마트 워치 형태의 전자 장치(100d)를 착용한 상태에서 엄지 손가락으로 다른 두 개 이상의 손가락을 교차하여 문지르는 동작으로 마찰음 입력을 생성하는 경우, 전자 장치(100d)에 구비된 마이크로폰(110)은 이러한 동작에 의해 생성되는 마찰음 입력을 수신한다. 또한 본 실시예에 따른 전자 장치(100d)는 엄지 손가락의 움직임에 의해 발생하는 근전도의 변화를 나타내는 근전도 입력을 근전도 센서(2710)를 이용하여 수신한다. 전자 장치(100d)는 마찰음 입력과 근전도 입력을 함께 고려함으로 인해, 마찰음 입력만 이용하는 경우에 비해 오작동의 확률을 현저하게 감소시킬 수 있다.
도 29는 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 전자 장치(100d)는 마찰음 입력과 근전도 입력을 함께 이용한다. 우선 전자 장치(100d)는 마찰음 입력을 수신하고(S2902), 마찰음 입력으로부터 마찰 속성을 판별한다(S2904). 또한 전자 장치(100d)는 사용자의 근육의 움직임에 의한 근전도 입력을 수신하고(S2906), 검출된 근육의 움직임을 판별한다(S2908). 마찰음 입력과 근전도 입력이 수신되고 판별되면, 전자 장치(100d)는 수신된 마찰음 입력과 근전도 입력의 조합에 대응하는 제어 명령이 존재하는지 여부를 판단한다(S2910). 또한, 전자 장치(100d)는 수신된 마찰음 입력과 근전도 입력이 기준 시간 범위 이내에 수신되었는지 여부를 판단한다(S2912). 기준 시간 범위는 예를 들면, 0.5초 이내, 1초 이내, 5초 이내 등으로 설정될 수 있다. S2910 단계와 S2912 단계의 순서는 실시예에 따라 변경될 수 있다. S2912 단계가 먼저 수행되고 S2910 단계가 수행되거나, 동시에 수행되는 실시예도 가능하다.
마찰음 입력과 근전도 입력의 조합에 대응하는 제어 명령이 존재하고, 두 입력이 기준 시간 범위 이내에 수신되는 경우, 전자 장치(100d)는 대응하는 제어 명령을 수행한다(S2914).
도 30은 일 실시예에 따른 전자 장치(100e)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(100e)는 지문 인식 센서(3010), 마이크로폰(110), 처리부(120e), 및 저장부(930)를 포함한다. 본 실시예에 따른 전자 장치(100e)는 지문 인식 센서(3010)를 구비하고, 지문 인식 센서(3010)에서 수신된 지문 입력과 마이크로폰(110)에서 수신된 마찰음 입력을 함께 고려하여 동작한다.
지문 인식 센서(3010)는 지문을 검출하는 센서로서, 손가락 지문의 영상 정보를 획득한다. 지문의 영상 정보는 광학식, 정전 용량이나 전기 전도를 감지하는 반도체 소자 방식, 초음파 방식, 열 감지 방식, 비접촉식, 또는 이들의 조합 등 다양한 방식으로 획득될 수 있다. 일 실시예에 따르면, 처리부(120e)는 지문의 영상 정보로부터 지문의 특징을 추출한 후, 저장부(920)에 미리 등록되어 있는 사용자의 특징 정보와 비교하고 정합하여, 사용자를 식별한다. 다른 실시예에 따르면, 처리부(120e)는 지문의 영상 정보가 지문인지 여부만 판단하고 사용자 식별은 수행하지 않는다.
처리부(120e)는 지문 인식 센서(3010)에서 수신된 지문 입력과 마이크로폰(110)에서 수신된 마찰음 입력이 기준 시간 범위 이내에 수신되었는지 여부, 및 수신된 지문 입력과 수신된 마찰음 입력의 마찰 속성의 조합에 대해 미리 설정된 제어 명령이 있는지 여부를 판단한다. 처리부(120e)는 지문 입력과 마찰음 입력이 기준 시간 범위 이내에 수신되고, 이들에 대해 미리 설정된 제어 명령이 있다면, 대응하는 제어 명령을 수행한다.
도 31은 일 실시예에 따라 지문 입력과 마찰음 입력을 함께 이용하여 전자 장치(100e)를 제어하는 방법을 설명하기 위한 도면이다.
본 실시예에 따르면, 전자 장치(100e)의 소정의 위치에 지문 인식 센서(3010)가 배치되고, 사용자가 지문 인식 센서(3010)에 손가락 끝을 터치한 상태에서 손가락을 문지르는 동작에 의해 마찰음 입력을 생성할 수 있다. 지문 인식 센서(3010)는 사용자가 손가락 끝을 터치하는 동안 손가락 지문의 영상 정보를 획득한다. 또한 전자 장치(100e)에 구비된 마이크로폰(110)은 마찰음 입력을 수신한다.
일 실시예에 따르면, 처리부(120e)는 지문 입력으로부터 획득된 사용자 식별 정보와, 마찰음 입력의 마찰 속성의 조합에 대응하는 동작을 수행할 수 있다. 예를 들면, 처리부(120e)는 지문 입력으로부터 획득된 사용자 식별 정보와 미리 설정된 마찰 속성의 조합을 이용하여 사용자 인증을 수행할 수 있다. 본 실시예에 따르면 지문만 이용하여 사용자 인증을 수행하는 것보다 보안성을 향상시킬 수 있는 효과가 있다.
다른 실시예에 따르면, 처리부(120e)는 지문 입력으로부터 획득된 사용자 식별 정보를 이용하여 사용자 인증을 수행하고, 마찰음 입력의 마찰 속성을 이용하여 어떤 제어 명령을 수행할지를 판단할 수 있다. 예를 들면, 미리 등록된 사용자는 손가락 끝으로 지문 센서를 터치한 상태에서 제1 마찰음 입력에 의해 전자 장치(100e)를 슬립 모드로부터 활성화 모드로 변경시키고, 제2 마찰음 입력에 의해 전자 장치(100e)의 연락처 정보에 접근할 수 있다.
다른 실시예에 따르면, 처리부(120e)는 손가락 지문의 영상이 지문인지 아닌지 여부만 판단하고, 마찰음 입력의 마찰 속성을 판별하여, 손가락 지문의 영상이 지문이 맞고, 마찰 속성에 대해 대응하는 제어 명령이 있는 경우, 해당하는 제어 명령을 수행할 수 있다. 본 실시예에 따르면, 마찰음 입력만을 고려하는 경우에 비해 오작동의 확률을 현저하게 감소시킬 수 있다.
도 32는 일 실시예에 따른 전자 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 전자 장치(100e)는 마찰음 입력과 지문 입력을 함께 이용한다. 우선 전자 장치(100e)는 마찰음 입력을 수신하고(S3202), 마찰음 입력으로부터 마찰 속성을 판별한다(S3204). 또한 전자 장치(100e)는 사용자의 지문 입력을 수신하고(S3206), 수신된 지문 입력을 판별한다(S3208). 지문 입력을 판별하는 동작(S3208)은 지문 입력으로부터 사용자를 식별하는 동작이거나, 지문 입력이 지문이 맞는지 검증하는 동작일 수도 있다. 마찰음 입력과 지문 입력이 수신되고 판별되면, 전자 장치(100e)는 수신된 마찰음 입력과 지문 입력의 조합에 대응하는 제어 명령이 존재하는지 여부를 판단한다(S3210). 또한, 전자 장치(100e)는 수신된 마찰음 입력과 지문 입력이 기준 시간 범위 이내에 수신되었는지 여부를 판단한다(S3212). S3210 단계와 S3212 단계의 순서는 실시예에 따라 변경될 수 있다. S3212 단계가 먼저 수행되고 S3210 단계가 수행되거나, 동시에 수행되는 실시예도 가능하다.
마찰음 입력과 지문 입력의 조합에 대응하는 제어 명령이 존재하고, 두 입력이 기준 시간 범위 이내에 수신되는 경우, 전자 장치(100e)는 대응하는 제어 명령을 수행한다(S3214).
도 33 내지 도 37은 스마트 워치 형태의 전자 장치(100)에서 마찰음 입력을 이용하는 실시예들을 도시한다.
도 33은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)를 온 오프시키는 제어 명령을 도시한다.
본 실시예에 따르면, 사용자가 엄지 손가락과 중지 손가락을 서로 맞대고 밀어낼 때, 가운데 손가락이 손바닥을 치면서 발생하는 마찰음에 의한 마찰음 입력을 이용하여 스마트 워치를 온 오프 시킬 수 있다. 본 실시예에서는 앞서 설명한 바와 같이, 모션 입력 또는 근전도 입력을 마찰음 입력과 함께 이용하는 것도 가능하다.
도 34는 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 접촉한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
본 실시예에 따르면, 사용자는 스마트 워치에 손가락을 접촉한 상태에서 미리 설정된 마찰 속성의 마찰음 입력을 발생시켜, 전자 장치(100)를 제어할 수 있다. 예를 들면, 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치를 화면이 꺼진 상태 또는 대기 화면이 표시되는 상태인 슬립 모드로부터, 스마트 워치에서 진행중인 기능 화면을 보여주거나 메뉴 화면을 보여주는 웨이크업(wakeup) 모드로 전환할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치의 홈 화면으로 이동할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치의 표시부의 밝기를 조절할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치의 소리 출력의 음량을 조절할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치의 햅틱 감도를 조절할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 화면 스크롤, 화면 넘김, 메뉴 또는 객체의 선택, 객체의 이동, 화면의 줌 인, 화면의 줌 아웃을 할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 화면 스크롤 속도를 조절하거나 화면을 건너뛰면서 컨텐츠를 열람할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 어플리케이션 선택, 어플리케이션 전환, 시계 화면으로 전환, 최근에 실행한 어플리케이션으로 전환을 할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 통해, 음성 인식 모드, 촬영 모드 등 특정 모드로 진입할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 시계의 시간을 조절할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 알람을 선택하거나, 알람을 켜거나, 알람을 끄거나 알람을 연기하거나, 타이머를 설정하거나, 타이머를 중단하거나, 타이머를 종료할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 수신한 메시지를 읽거나, 메시지에 포함된 컨텐츠를 열거나, 메시지에 답장할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 메일을 읽을 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 전화를 수신하거나, 전화를 수신 거부하거나, 전화 음량을 조절하거나, 전화를 걸 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치로부터의 알림에 대해, 알림에 대한 확인 또는 연기 등의 응답을 입력할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치의 운동에 관련된 기능을 제어할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 지도를 스크롤하거나, 지도를 회전, 확대, 축소 하거나, 특정 위치에 대한 정보를 얻을 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 음악을 재생, 정지, 다음 곡으로 넘어감, 이전 곡으로 돌아감, 음량 조절 등의 명령을 입력할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치에서 사진을 탐색하거나, 사진을 확대하거나, 사진을 축소하거나, 사진을 회전하거나, 사진을 전송할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 특정 기능에 대한 단축키로 이용할 수 있다. 또한 사용자는 미리 설정된 마찰 속성의 마찰음 입력을 이용하여 스마트 워치에서 텍스트 크기를 조절할 수 있다. 상기의 실시예 외에도 마찰음 입력을 통한 다양한 전자 장치의 제어가 본 발명의 권리범위에 포함 될 수 있다. 상기 실시예들에 따른 마찰음 입력은 사용자가 스마트 워치를 착용하지 않고 있는 상태에서도 전자 장치(100)로 입력될 수 있다.
도 35는 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
본 실시예에 따르면, 사용자가 손가락을 스마트 워치에 인접하게 배치하고 마찰음 입력을 생성하는 동작을 취하여, 스마트 워치에 마찰음 입력을 입력하는 것도 가능하다. 일 실시예에 따르면, 사용자는 스마트 워치를 착용한 손 또는 팔에 반대쪽 손의 손가락을 접촉한 상태에서 마찰음 입력을 생성하는 동작을 취할 수 있다. 사용자는 앞서 도 34에서 설명한 동작들에 대응되는 마찰음 입력을 도 31과 같이 손을 스마트 워치에 접촉하지 않은 상태로 스마트 워치에 입력할 수 있다.
도 36은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
일 실시예에 따르면, 사용자가 스마트 워치 형태의 전자 장치(100)를 착용한 쪽의 손의 손등을 반대쪽 손의 손가락으로 문질러 마찰음 입력을 생성할 수 있다. 예를 들면, 전자 장치(100)는 사용자가 손등을 손가락으로 문지르는 마찰음 입력에 대응하여 페이지를 넘기거나, 사용자가 손등을 손가락으로 두드리는 마찰음 입력에 대응하여 전자 장치(100)를 슬립 모드로부터 활성화 모드로 변경하는 등의 제어 명령을 수행할 수 있다.
도 37은 일 실시예에 따라 스마트 워치 형태의 전자 장치(100)에 손가락을 인접하게 배치한 상태에서 마찰음 입력을 발생시키는 동작을 도시한다.
일 실시예에 따르면, 전자 장치(100)가 프로젝터를 구비하고, 프로젝터를 이용하여 그래픽 사용자 인터페이스 영상을 신체의 일부에 비추어, 사용자가 신체의 일부에 비추어진 영상을 기초로 마찰음 입력을 생성할 수 있다.
일 실시예에 따르면, 사용자는 미리 설정된 입력을 통해 그래픽 사용자 인터페이스 영상이 전자 장치(100)에 구비된 프로젝터로부터 손등에 출력되도록 제어할 수 있다. 상기 미리 설정된 입력은 전자 장치(100)의 터치 스크린을 이용한 터치 입력, 터치 센서를 이용한 터치 입력, 버튼 누름 입력, 전자 장치(100)를 이동시키는 동작에 의한 제스처 입력, 마찰음 입력 등 다양한 형태로 정의될 수 있다. 그래픽 사용자 인터페이스 영상이 프로젝터로부터 투사되어 손등에 표현되면, 손등에서 소정 방식의 두드림, 소정 방향의 문지름 등의 동작을 통해 마찰음 입력을 발생시켜 전자 장치(100)를 제어할 수 있다. 예를 들면, 도 33에 도시된 바와 같은 그래픽 사용자 인터페이스 영상이 손등에 투사된 상태에서, 사용자는 위로 향하는 문지름 형태의 마찰음 입력을 통해 전자 장치(100)의 표시부에 표시된 영상을 위로 스크롤하거나, 아래로 향하는 문지름 형태의 마찰음 입력을 통해 전자 장치(100)의 표시부에 표시된 영상을 아래로 스크롤할 수 있다. 프로젝터로부터 투사되는 상기 그래픽 사용자 인터페이스 영상에는 스크롤 아이콘, 다이얼 아이콘, 밀기 아이콘 등 다양한 형태의 제어 명령을 입력할 수 있는 객체가 표현될 수 있다.
도 38은 일 실시예에 따라 마찰음 입력을 이용하여 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
본 실시예에 따르면, 사용자는 전자 장치(100)를 주머니, 가방 등에 넣어둔 상태에서 마찰음 입력을 이용하여 전자 장치(100)를 제어할 수 있다. 예를 들면, 사용자는 전자 장치(100)를 제1 형태의 마찰음 입력을 이용하여 음악 재생 볼륨을 감소시키고, 제2 형태의 마찰음 입력을 이용하여 음악 재생 볼륨을 증가시킬 수 있다. 일 실시예에 따르면, 전자 장치(100)는 조도 센서 및 근접 센서를 이용하여 전자 장치(100)가 주머니, 가방 등에 들어있는 수납 상태을 인식하고, 수납 상태에서는 노이즈 제거 성능을 향상시켜 마찰음 입력에 대한 검출 성능을 높일 수 있다. 노이즈 제거 성능의 향상을 위해, 주머니, 가방 등에 수납된 상태에서 검출되는 노이즈의 신호 특성을 미리 저장하고, 수납 상태에서는 미리 저장된 수납 상태의 노이즈 신호 특성을 이용하여 노이즈 제거 성능을 향상시킬 수 있다. 본 실시예에 따르면, 사용자가 전자 장치(100)를 보지 않고도 전자 장치(100)를 용이하게 제어할 수 있는 효과가 있다. 예를 들면 본 실시예에 따르면, 사용자는 옷의 주머니, 가방 등에 전자 장치(100)를 넣어둔 상태에서, 손으로 마찰음 입력을 발생시키는 동작을 통해 쉽게 전자 장치(100)를 제어할 수 있다. 따라서 본 실시예에 따르면 사용자 편의를 현저하게 증대시키는 효과가 있다.
도 39는 일 실시예에 따라 VR(virtual reality) 기기 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
VR 기기는 그 구조상 터치스크린, 키 패드 등의 입력부를 배치할 수 있는 공간이 매우 제한적이다. 그런데 본 실시예에 따라 VR 기기 형태의 전자 장치(100)에서 마찰음 입력을 이용하는 경우, 소형의 마이크로폰으로 입력부를 구현 가능하기 때문에, 공간적인 제약 없이 입력부를 구성할 수 있는 효과가 있다.
또한, 사용자가 VR 기기를 착용한 상태에서 터치 패드 등을 이용하여 터치 입력을 생성하는 제스쳐를 취하는 경우, 외부에서 그 제스쳐가 쉽게 보인다. 이로 인해, 사용자가 VR 기기의 터치 패드 상에서 제스쳐를 취하는 경우, 보안성이 떨어지는 문제가 있다. 반면에 손가락 등을 이용하여 소정의 마찰 속성을 발생시키는 제스쳐는 타인이 정확한 파악하기 어렵다. 따라서 본 실시예에 따르면, VR 기기 형태의 전자 장치(100)에서 마찰음 입력을 이용함에 보안성을 향상시킬 수 있다.
또한 사용자가 터치 패드를 이용하여 터치 입력을 생성하는 제스쳐를 취하기 위해서는, 터치 패드로 손을 이동시키고, 터치 패드를 정확하게 터치한 상태에서 제스쳐를 취해야 한다. 그런데 VR 기기를 착용한 상태에서는 VR 기기 외부에 위치한 터치 패드의 위치를 찾기 어렵기 때문에, 사용자 불편을 초래하는 문제가 있다. 본 실시예에 따르면, 사용자가 VR 기기의 아무 곳이나 터치한 상태에서 마찰음 입력을 생성하는 제스쳐를 취하거나, 마이크로폰이 위치한 곳 근처(예를 들면 반경 2cm 이내)에서 마찰음 입력을 생성하는 제스쳐를 취하면 되기 때문에, 터치 패드를 이용하는 경우에 비해 사용자가 용이하게 입력을 발생시킬 수 있는 효과가 있다.
도 40은 일 실시예에 따라 스마트 안경 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
일 실시예에 따르면, 스마트 안경 형태의 전자 장치(100)가 마찰음 입력을 이용할 수 있다. 예를 들면, 사용자는 스마트 안경에 접촉한 상태에서 마찰음 입력을 생성하는 제스쳐를 취하거나, 마이크로폰이 배치된 위치의 근처(예를 들면 반경 2cm 이내)에서 마찰음 입력을 생성하는 제스쳐를 취할 수 있다. 본 실시예에 따르면, VR 기기에서 마찰음 입력을 생성하는 경우와 유사하게, 스마트 안경에서 공간적인 제약 없이 입력부를 구성하고, 보안성을 향상시키고, 사용자가 터치 패드의 위치를 찾을 필요 없이 용이하게 입력을 발생시킬 수 있는 효과가 있다.
도 41은 일 실시예에 따라 콘센트 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
일 실시예에 따르면, 콘센트 형태의 전자 장치(100)가 마찰음 입력을 이용하여 사용자 인증을 수행할 수 있다. 예를 들면, 콘센트가 턴 오프된 상태에서, 사용자가 콘센트 형태의 전자 장치(100)에 손을 접촉하고 미리 설정된 마찰 속성에 대응하는 제스쳐를 취하면, 콘센트가 턴 온되고, 콘센트가 턴 온된 상태에서 콘센트에 플러그를 삽입하면 전류가 통할 수 있다. 또한 일 실시예에 따르면, 사용자가 콘센트에서 플러그를 제거하면 콘센트가 턴 오프되고, 콘센트가 턴 오프된 상태에서는 플러그를 삽입해도 전류가 흐르지 않는다. 본 실시예에 따르면 유아가 콘센트에 접촉하여 발생하는 감전 사고를 예방할 수 있는 효과가 있다.
도 42은 일 실시예에 따라 가열 기구 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
일 실시예에 따르면, 가열 기구 형태의 전자 장치(100)는 마찰음 입력에 의해 사용자 인증이 수행될 수 있다. 상기 가열 기구는 예를 들면, 전기 포트, 난방용 전열기, 오븐, 가스렌지, 커피 메이커 등을 포함한다. 예를 들면, 소정의 마찰 속성에 대응하는 마찰음 입력이 가열 기구에 입력된 경우, 가열 기구가 턴 온 될 수 있다. 본 실시예에 따르면, 유아가 가열 기구를 조작하여 발생할 수 있는 사고를 예방할 수 있는 효과가 있다.
일 실시예에 따르면, 가열 기구 형태의 전자 장치(100)가 마찰음 입력에 의해 제어될 수 있다. 예를 들면, 사용자는 마찰음 입력에 의해 가열 기구의 온도를 조절하거나, 온 오프하거나, 모드를 변경하는 등의 제어를 할 수 있다. 가열된 상태의 가열 기구는 사용자가 손을 접촉하여 제어하기 어려운 면이 있는데, 본 실시예에 따르면 가열 기구에 손을 직접 접촉하지 않고 손을 가까이 가져간 후 마찰음 입력을 발생시킴에 의해 가열 기구를 제어하여 안전성을 향상시키는 효과가 있다.
도 43은 일 실시예에 따라 생활 가전 형태의 전자 장치(100)를 제어하는 모습을 도시한 도면이다.
본 실시예에 따르면, 다양한 생활 가전을 마찰음 입력을 이용하여 제어할 수 있다. 일 실시예에 따르면, 사용자는 전자레인지(4310)의 온 오프, 시간 조절, 모드 설정 등의 제어를 마찰음 입력을 이용하여 할 수 있다. 일 실시예에 따르면, 사용자는 에어컨(4320)의 온 오프, 온도 조절, 풍향 조절, 풍량 조절, 타이머 설정 등의 제어를 마찰음 입력을 이용하여 할 수 있다. 일 실시예에 따르면, 사용자는 램프(4330)의 온 오프, 밝기 조절 등의 제어를 마찰음 입력을 이용하여 할 수 있다.
일 실시예에 따르면, 사용자는 노트북(4340)의 온 오프, 모드 전환 등의 제어를 마찰음 입력을 이용하여 할 수 있다. 일 실시예에 따른 노트북(4340), 셋톱 박스는 미리 설정된 마찰 속성의 마찰음 입력이 입력된 경우에만 성인 컨텐츠에 접근 가능한 성인 모드로 변경되어, 미성년자가 성인 컨텐츠에 접근하는 것을 방지할 수 있다.
일 실시예에 따르면, 사용자는 스피커(4350)의 온 오프, 음량 조절 등의 제어를 마찰음 입력을 이용하여 할 수 있다.
일 실시예에 따르면, 사용자는 도어 록(4360)의 잠금/열림의 제어를 마찰음 입력을 이용하여 할 수 있다. 일 실시예에 따르면, 도어 록(4360)에서 마이크로폰을 특정 위치에 배치하면서 외부에서는 마이크로폰이 어디에 위치했는지 나타나지 않도록 하여, 마이크로폰의 위치를 아는 사용자만 도어 록(4360)을 잠그거나 열 수 있도록 함에 의해, 도어 록(4360)의 보안성을 강화할 수 있다.
본 실시예에 따르면, 사용자가 생활 가전을 터치한 상태에서 마찰음 입력을 발생시키는 간단한 동작을 통해 생활 가전을 제어할 수 있어, 사용자 편의가 증대되는 효과가 있다.
도 44는 일 실시예에 따른 스마트 웨어 형태의 전자 장치(100)를 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 스마트 웨어 형태의 전자 장치(100)가 마이크로폰을 구비하고, 사용자가 마찰음 입력을 이용하여 스마트 웨어 형태의 전자 장치(100)를 제어할 수 있다. 예를 들면, 스마트 웨어의 소정의 영역(4410a, 4410b, 4410c, 4410d)에 마이크로폰을 배치하고, 사용자가 마이크로폰이 배치된 소정의 영역(4410a, 4410b, 4410c, 4410d)을 손가락으로 터치하거나, 소정의 영역(4410a, 4410b, 4410c, 4410d)에 인접하게 손가락을 배치시킨 상태에서, 손가락으로 마찰음 입력을 발생시켜 스마트 웨어를 제어할 수 있다.
일 실시예에 따르면, 복수의 영역(4410a, 4410b, 4410c, 4410d)에 각각 마이크로폰이 배치되고, 스마트 웨어는 어느 영역(4410a, 4410b, 4410c, 4410d)에서 마찰음 입력이 수신되었는지에 따라 서로 다른 제어 명령을 수행할 수 있다. 예를 들면, 스마트 웨어는 제1 영역(4410a)에서 마찰음 입력이 수신되면 심박수 측정의 제어 명령을 수행하고, 제2 영역(4410a)에서 마찰음 입력이 수신되면 체온 측정의 제어 명령을 수행할 수 있다.
일 실시예에 따른 스마트 웨어는 사용자로부터 마찰음 입력을 수신하여 다른 전자 장치(100-1, 예를 들면, 스마트폰, 스마트 워치, 스마트 안경, 태블릿 PC 등)로 마찰음 입력을 전달할 수 있다. 본 실시예에 따르면, 사용자는 스마트 웨어를 통해 주머니나 가방 안에 있는 전자 장치(100-1)를 쉽게 제어할 수 있다. 또한 본 실시예에 따르면, 사용자가 상대적으로 입력부에 할애된 면적이 작은 스마트 워치, 스마트 안경 등과 같은 전자 장치(100-1)를 스마트 웨어를 이용하여 쉽게 제어할 수 있다.
도 45는 일 실시예에 따라 웨어러블 디바이스 형태의 전자 장치(100)를 이용하여 운동 기구(4510)를 제어하는 모습을 나타낸 도면이다.
일 실시예에 따르면, 사용자는 웨어러블 디바이스 형태의 전자 장치(100)에 마찰음 입력을 입력하여, 운동 기구(4510)를 제어할 수 있다. 예를 들면, 사용자는 스마트 워치 형태의 전자 장치(100)를 착용한 상태에서 마찰음 입력을 발생시켜, 런닝 머신의 온 오프, 속도 조절, 기울기 조절 등의 제어를 할 수 있다. 본 실시예에 따르면, 웨어러블 디바이스 형태의 전자 장치(100)는 운동 기구(4510)와 통신하는 통신부를 구비하고, 운동 기구(4510)와 유선 또는 무선으로 통신할 수 있다.
일 실시예에 따르면, 운동 기구(4510)가 마이크로폰을 구비하고, 사용자는 마찰음 입력을 이용하여 운동 기구(4510)를 제어할 수 있다. 운동 기구(4510)는 마이크로폰을 통해 입력된 마찰음 입력의 마찰 속성을 판별하고, 미리 저장된 마찰 속성과 비교하여, 해당 마찰 속성에 할당된 제어 명령을 수행할 수 있다.
도 46은 일 실시예에 따라 체중계 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자는 발을 이용하여 마찰음 입력을 발생시켜, 체중계 형태의 전자 장치(100)를 제어할 수 있다. 예를 들면, 사용자는 체중계에 올라선 상태에서 발바닥으로 발등을 문질러 마찰음 입력을 발생시켜 체중계를 제어할 수 있다. 일 실시예에 따르면, 체중계 형태의 전자 장치(100)는 마찰음 입력에 대응하여 온 오프, 체중 변화 기록 표시, 체지방 측정, 사용자 설정 등의 제어 명령을 수행할 수 있다.
도 47은 일 실시예에 따라 스마트 반지 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자가 스마트 반지를 착용한 상태에서, 스마트 반지를 문지르거나, 스마트 반지를 회전시켜 마찰음 입력을 발생시켜 스마트 반지를 제어할 수 있다. 일 실시예에 따르면, 사용자가 스마트 반지를 착용한 손가락, 스마트 반지를 착용한 손의 손바닥, 스마트 반지를 착용한 손가락 주변의 손가락 등을 문질러 마찰음 입력을 발생시켜 스마트 반지를 제어할 수 있다.
일 실시예에 따른 스마트 반지는 사용자로부터 마찰음 입력을 수신하여 다른 전자 장치(100-1, 예를 들면, 스마트폰, 스마트 워치, 스마트 안경, 태블릿 PC 등)로 마찰음 입력을 전달할 수 있다. 본 실시예에 따르면, 사용자는 스마트 반지를 통해 주머니나 가방 안에 있는 전자 장치(100-1)를 쉽게 제어할 수 있다. 또한 본 실시예에 따르면, 사용자가 상대적으로 입력부에 할애된 면적이 작은 스마트 워치, 스마트 안경 등과 같은 전자 장치(100-1)를 스마트 반지를 이용하여 쉽게 제어할 수 있다.
도 48은 일 실시예에 따라 이어폰 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자는 삽입형 이어폰(4810), 귓바퀴 걸이 형 이어폰(4820) 등의 형태로 구현된 전자 장치를 마찰음 입력을 이용하여 제어할 수 있다. 도 48에 도시된 바와 같은 이어폰은 공간상의 제약 때문에 입력부를 배치하기 어렵다. 더욱이 무선 이어폰의 경우, 매우 소형이어서, 입력부를 배치하기에 어려움이 있다. 본 실시예에 따르면, 사용자가 손으로 귓바퀴, 귓볼, 귀 주변의 피부를 손가락으로 문지름에 의해 마찰음 입력을 발생시키고, 해당 마찰음 입력을 이용하여 이어폰 형태의 전자 장치를 제어한다. 일 실시예에 따르면, 사용자는 마찰음 입력을 이용하여 이어폰의 온 오프, 볼륨 조절, 무선 통신 기능 온 오프, 수신 전화 응답 등의 제어를 할 수 있다. 본 실시예에 따르면, 소형 이어폰을 사용자가 용이하게 제어할 수 있는 효과가 있다.
도 49는 일 실시예에 따라 이어폰 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자는 마이크로폰이 구비된 이어폰의 조작부(4910)에 손을 접촉하거나, 손을 조작부(4910)에 인접하게 배치한 상태에서 마찰음 입력을 발생시켜, 이어폰을 제어할 수 있다. 일 실시예에 따르면, 사용자는 마찰음 입력을 이용하여 이어폰의 온 오프, 볼륨 조절, 무선 통신 기능 온 오프, 수신 전화 응답 등의 제어를 할 수 있다. 본 실시예에 따르면, 사용자가 조작부(4910)의 버튼을 누르지 않고 이어폰을 조작할 수 있어, 사용자가 조작부(4910)의 버튼을 확인하기 위해 조작부(4910)를 직접 보거나 버튼을 찾는 등의 노력을 기울이지 않아도 되는 장점이 있다.
도 50은 일 실시예에 따른 의료 기기 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자가 의료 기기 형태의 전자 장치(100)를 신체에 부착한 상태에서, 전자 장치(100)가 부착된 부위 주변의 피부 조직을 문질러서 마찰음 입력을 발생시킴에 의해 전자 장치(100)를 제어할 수 있다. 예를 들면, 손가락 장착형 맥파 측정기를 사용자가 착용한 상태에서, 사용자가 손가락을 문지름에 의해 마찰음 입력을 발생시켜, 맥파 측정기를 제어할 수 있다. 일 실시예에 따르면, 사용자는 마찰음 입력에 의해 맥파 측정기의 온 오프 등을 제어할 수 있다.
도 51은 일 실시예에 따른 인바디 칩 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자가 신체 내부에 삽입하는 인바디 칩 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어할 수 있다. 예를 들면, 사용자가 인바디 칩이 삽입된 위치의 피부 조직에 손가락을 접촉한 상태에서 마찰음 입력을 발생시킴에 의해 인바디 칩을 제어할 수 있다. 인바디 칩에 대한 마찰음 입력은 예를 들면, 인바디 칩이 삽인된 위치에서 피부를 상, 하, 좌, 우로 문지르는 형태, 피부를 두드리는 형태 등으로 정의될 수 있다. 일 실시예에 따르면, 인바디 칩 형태의 전자 장치(100)는 마찰음 입력에 대응하여, 온 오프, 모드 변환, 데이터 송수신, 소정의 생체 신호 측정 등의 제어 명령을 수행할 수 있다. 본 실시예에 따르면 입력부를 구현하기 어려운 인바디 칩 형태의 전자 장치(100)에서 다양한 명령의 입력이 가능하도록 하는 효과가 있다.
도 52는 일 실시예에 따른 외장형 저장 장치 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어하는 모습을 나타낸 도면이다.
본 실시예에 따르면, 사용자가 외장형 저장 장치 형태의 전자 장치(100)를 마찰음 입력을 이용하여 제어할 수 있다. 예를 들면, 사용자는 마찰음 입력을 이용하여 사용자 인증을 수행하여 외장형 저장 장치에 접근할 수 있다. 본 실시예에 따르면, 외장형 저장 장치가 연결되는 메인 전자 장치(예를 들면, 노트북 등)에 보안상 문제가 발생한 경우에도, 외장형 저장 장치의 보안은 유지할 수 있는 효과가 있다.
일 실시예에 따르면, 전자 장치(100)는 펜, 키보드, 마우스, 터치 패드, 트랙 볼와 같은 입력 장치의 형태를 갖고, 마찰음 입력을 수신 받아 제어 명령을 수행할 수 있다. 펜은 예를 들면, 스타일러스 펜, 라이트 펜 등을 포함할 수 있다. 키보드는 기계식 키보드, 터치 스크린 방식 키보드, 터치 센서 방식 키보드 등 다양한 방식의 키보드를 포함한다. 마우스는 기계식 마우스, 터치식 마우스를 포함한다. 터치 패드는 마우스 커서를 이동할 수 있는 내장형 또는 외장형 터치 패드를 포함한다.
일 실시예에 따르면, 사용자는 펜을 쥔 상태에서 검지손가락을 이용하여 엄지손가락을 문지르는 마찰음 입력을 이용하여 펜으로 입력한 내용을 취소하는 입력(Undo), 입력한 내용을 되살리는 입력(Redo)과 같은 제어 명령을 전자 장치(100)에 입력할 수 있다. 일 실시예에 따르면, 사용자는 펜 또는 신체의 일부를 문지르는 횟수에 따라 정의되는 마찰음 입력을 펜을 활성화 시키는 인증 제어 명령으로 사용할 수 있다.
일 실시예에 따르면, 사용자는 키보드에 손가락을 위치한 상태에서 손가락을 문지르거나 손등을 문지르는 행위를 통해 키보드의 특수기능을 수행할 수 있다. 상기 특수 기능은 예를 들면, 키보드 활성화, 기능 키(function key) 동작, 키보드 언어 전환, 단축 키 동작 등을 포함한다.
일 실시예에 따르면, 마우스, 터치 패드, 트랙 볼 등에 신체의 일부를 접촉한 상태에서 수행되는 다양한 마찰음 입력이 정의되고 이용될 수 있다.
도 53는 일 실시예에 따른 전자 장치(100f)의 구성을 나타내는 블록도이며, 도 53에 도시된 구성은 실시예들에 따른 전자 장치(100, 100a, 100b, 100c, 100d, 100e)에 모두 적용될 수 있다.
본 실시예에 따른 전자 장치(100f)는 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등과 같은 다양한 형태로 구현될 수 있다.
도 53에 따르면, 전자 장치(100f)는 디스플레이부(5310), 사용자 입력부(5315), 메모리(5320), GPS 칩(5325), 통신부(5330), 마이크로폰(5350), 촬상부(5355), 스피커부(5360), 제어부(5370), 및 센서부(5380)를 포함 할 수 있다.
디스플레이부(5310)는 표시패널(5311) 및 표시 패널(5311)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(5311)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(5311)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(5310)는 사용자 입력부(5345)의 터치 패널(5347)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(5311)과 터치 패널(5347)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(5320)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 제어부(5370)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(5370)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(5320)는 전자 장치(100f)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(5320)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.
제어부(5370)는 메모리(5320)에 저장된 컨텐츠의 일부가 디스플레이부(5310)에 표시되도록 디스플레이부(5310)를 제어할 수 있다. 다시 말하자면, 제어부(5370)는 메모리(5320)에 저장된 컨텐츠의 일부를 디스플레이부(5310)에 표시할 수 있다. 또는, 제어부(5370)는 디스플레이부(5310)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(5370)는 RAM(5371), ROM(5372), CPU(5373), GPU(Graphic Processing Unit)(5374) 및 버스(5375) 중 적어도 하나를 포함 할 수 있다. RAM(5371), ROM(5372), CPU(5373) 및 GPU(5374) 등은 버스(5375)를 통해 서로 연결될 수 있다.
CPU(5373)는 메모리(5320)에 액세스하여, 메모리(5320)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(5320)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 또한, GPU(5373)는 통신부(5330)를 통해 수신된 컨텐츠 또는, 메모리(5320)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. CPU(5373)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. CPU(5373)는 본 개시의 실시예들에 따른 음향 신호를 처리할 수 있다.
ROM(5372)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 전자 장치(100f)는 턴온 명령이 입력되어 전원이 공급되면, CPU(5373)가 ROM(5372)에 저장된 명령어에 따라 메모리(5320)에 저장된 O/S를 RAM(5371)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(5373)는 메모리(5320)에 저장된 각종 프로그램을 RAM(5371)에 복사하고, RAM(5371)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(5374)는 전자 장치(100f)의 부팅이 완료되면, 디스플레이부(5310)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(5374)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(5374)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표 값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(5374)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(5374)에서 생성된 화면은 디스플레이부(5310)로 제공되어, 디스플레이부(5310)의 각 영역에 각각 표시될 수 있다.
또한, GPU(5374)는 통신부(5330)를 통해 수신된 컨텐츠 또는, 메모리(5320)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. GPU(5374)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
GPS 칩(5325)은 GPS(Global Positioning System) 위성으로부터 GPS 신호를 수신하여, 전자 장치(100f)의 현재 위치를 산출할 수 있다. 제어부(5370)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(5325)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(5330)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(5330)는 와이파이칩(5331), 블루투스 칩(5332), 무선 통신 칩(5333), NFC 칩(5334) 중 적어도 하나를 포함할 수 있다. 제어부(5370)는 통신부(5330)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
와이파이 칩(5331), 블루투스 칩(5332)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(5331)이나 블루투스 칩(5332)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(5333)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(5334)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
스피커부(5360)는 CPU(5373)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(5315)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(5315)는 키(5316), 터치 패널(5317) 및 펜 인식 패널(5318) 중 적어도 하나를 포함할 수 있다.
키(5316)는 전자 장치(100f)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(5317)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(5317)이 표시 패널(5311)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(5318)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(5318)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(5318)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(5348)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(5318)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(5318)은 표시 패널(5311)의 하부에 일정 면적, 예를 들어, 표시 패널(5311)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크로폰(5350)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(5370)는 마이크 부(5350)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(5320)에 저장할 수 있다.
촬상부(5355)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(5355)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(5355) 및 마이크로폰(5350)이 마련된 경우, 제어부(5370)는 마이크로폰(5350)를 통해 입력되는 사용자 음성이나 촬상부(5355)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 전자 장치(100f)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(5370)는 촬상부(5355)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(5370)는 마이크로폰(5350)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
본 개시의 일 실시예에 따르면, 제어부(5370)는 촬상부(5355)에서 검출된 영상 신호와 마이크로폰(5350)에서 수신된 마찰음 입력을 이용하여 전자 장치(100f)를 제어할 수 있다. 예를 들면, 제어부(5370)는 촬상부(5355)에서 검출된 영상 신호에서 인식되는 사용자 모션과, 마이크로폰(5350)에서 검출된 마찰음 입력을 조합을 이용하여, 대응하는 제어 명령을 검색하고, 제어 명령을 수행할 수 있다.
센서부(5380)는 다양한 조합의 센서를 포함할 수 있으며, 지자기 센서(5381), 자이로 센서(5382), 가속도 센서(5383), 근전도 센서(5384), 지문인식 센서(5385), 심박수 센서(5386), 및 조도 센서(5387) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
그 밖에, 도 53에 도시하지는 않았으나, 실시예들에 따라, 전자 장치(100f) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 전자 장치(100f)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 전자 장치(100f)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
앞서 설명한 처리부(120a, 120b, 120c, 120d, 120e)는 제어부(5370)에 대응될 수 있다. 앞서 설명한 마이크로폰(110)은 도 53의 마이크로폰(5350)에 대응될 수 있다. 앞서 설명한 ADC(910)는 CPU(5373)에 대응될 수 있다. 앞서 설명한 출력부(920)는 디스플레이부(5310) 및 스피커부(5360)에 대응될 수 있다. 앞서 설명한 저장부(930)는 메모리(5320)에 대응될 수 있다. 앞서 설명한 모션 센서(2310)는 도 53의 자이로 센서(5382) 또는 가속도 센서(5383)에 대응될 수 있다. 앞서 설명한 근전도 센서(2710) 및 지문 인식 센서(3010)는 센서부(5380)에 대응될 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터로 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터로 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 100a, 100b, 100c, 100d, 100e, 100f: 전자 장치
110: 마이크로폰
120a, 120b, 120c, 120d, 120e: 처리부
910: ADC
920: 출력부
930: 저장부
1210: 케이스
1220: 핀 홀
2310: 모션 센서
2710: 근전도 센서
3010: 지문 인식 센서

Claims (21)

  1. 음향 신호를 입력 받는 마이크로폰; 및
    상기 음향 신호로부터 마찰음을 검출하고, 상기 검출된 마찰음의 특성을 분석하여 마찰 속성을 결정하고, 상기 마찰 속성에 대응하는 제어 명령을 수행하는 처리부를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 처리부는, 상기 음향 신호의 크기 변화를 이용하여 마찰음을 검출하는, 전자 장치.
  3. 제1항에 있어서,
    상기 전자 장치는, 마찰 속성에 따른 제어 명령을 나타내는 제어 리스트를 저장하는 저장부를 더 포함하고,
    상기 처리부는, 상기 제어 리스트로부터 상기 결정된 마찰 속성에 대응하는 제어 명령을 선택하는, 전자 장치.
  4. 제1항에 있어서,
    상기 처리부는, 상기 마찰음의 주파수 분포에 기초하여 상기 마찰 속성을 결정하는, 전자 장치.
  5. 제1항에 있어서,
    상기 마찰음은 상기 전자 장치와 신체의 일부가 접촉한 상태에서 생성되는, 전자 장치.
  6. 제1항에 있어서,
    상기 전자 장치는 움직임을 검출하는 모션 센서를 더 포함하고,
    상기 처리부는, 상기 모션 센서의 검출값에 기초하여 상기 전자 장치의 움직임을 검출하고, 상기 검출된 움직임과 상기 마찰음의 조합에 대응하는 동작을 수행하는, 전자 장치.
  7. 제1항에 있어서,
    상기 처리부는, 상기 마찰음 중 20Hz와 20KHz 사이의 주파수 범위에 속하는 데이터에 기초하여 상기 마찰 속성을 결정하는, 전자 장치.
  8. 제1항에 있어서,
    상기 처리부는, 상기 마찰음을 이용하여 사용자 인증을 수행하는 전자 장치.
  9. 제1항에 있어서,
    상기 전자 장치는 근육의 움직임을 검출하는 근전도 센서를 더 포함하고,
    상기 처리부는, 상기 근전도 센서의 검출값에 기초하여 근육의 움직임을 판별하고, 상기 판별된 근육의 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는, 전자 장치.
  10. 제1항에 있어서,
    상기 전자 장치는 지문을 검출하는 지문 인식 센서를 더 포함하고,
    상기 처리부는, 상기 검출된 지문과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는, 전자 장치.
  11. 음향 신호를 입력 받는 단계;
    상기 음향 신호로부터 마찰음을 검출하는 단계;
    상기 검출된 마찰음의 특성을 분석하여 마찰 속성을 결정하는 단계; 및
    상기 마찰 속성에 대응하는 제어 명령을 수행하는 단계를 포함하는 전자 장치 제어 방법.
  12. 제11항에 있어서,
    상기 마찰음을 검출하는 단계는, 상기 음향 신호의 크기 변화를 이용하여 마찰음을 검출하는 단계를 포함하는, 전자 장치 제어 방법.
  13. 제11항에 있어서,
    마찰 속성에 따른 제어 명령을 나타내는 제어 리스트로부터 상기 결정된 마찰 속성에 대응하는 제어 명령을 선택하는 단계를 더 포함하는, 전자 장치 제어 방법.
  14. 제11항에 있어서, 상기 마찰 속성을 결정하는 단계는, 상기 마찰음의 주파수 분포에 기초하여 상기 마찰 속성을 결정하는, 전자 장치 제어 방법.
  15. 제11항에 있어서,
    상기 마찰음은 전자 장치와 신체의 일부가 접촉한 상태에서 생성되는, 전자 장치 제어 방법.
  16. 제11항에 있어서,
    상기 전자 장치 제어 방법은, 전자 장치의 움직임을 검출하는 단계를 더 포함하고,
    상기 제어 명령을 수행하는 단계는, 상기 검출된 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는, 전자 장치 제어 방법.
  17. 제11항에 있어서,
    상기 마찰 속성을 결정하는 단계는, 상기 마찰음 중 20Hz와 20KHz 사이의 주파수 범위에 속하는 데이터에 기초하여 상기 마찰 속성을 결정하는, 전자 장치 제어 방법.
  18. 제11항에 있어서,
    상기 제어 명령을 수행하는 단계는, 상기 마찰음을 이용하여 사용자 인증을 수행하는 단계를 포함하는, 전자 장치 제어 방법.
  19. 제11항에 있어서,
    상기 전자 장치 제어 방법은, 근전도 센서를 이용하여 근육의 움직임을 판별하는 단계를 더 포함하고,
    상기 제어 명령을 수행하는 단계는, 상기 검출된 근육의 움직임과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는 단계를 포함하는, 전자 장치 제어 방법.
  20. 제11항에 있어서,
    상기 전자 장치 제어 방법은, 지문을 검출하는 단계를 더 포함하고,
    상기 제어 명령을 수행하는 단계는, 상기 검출된 지문과 상기 마찰음의 조합에 대응하는 제어 명령을 수행하는 단계를 포함하는, 전자 장치 제어 방법.
  21. 제11항 내지 제20항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150170082A 2015-12-01 2015-12-01 마찰음을 이용하는 장치 및 방법 KR102437106B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150170082A KR102437106B1 (ko) 2015-12-01 2015-12-01 마찰음을 이용하는 장치 및 방법
PCT/KR2016/012735 WO2017095033A1 (ko) 2015-12-01 2016-11-07 마찰음을 이용하는 장치 및 방법
CN201680077549.8A CN108475112B (zh) 2015-12-01 2016-11-07 使用摩擦声音的方法和装置
US15/780,789 US10684675B2 (en) 2015-12-01 2016-11-07 Method and apparatus using frictional sound
EP16870929.3A EP3361351B1 (en) 2015-12-01 2016-11-07 Method and apparatus using frictional sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170082A KR102437106B1 (ko) 2015-12-01 2015-12-01 마찰음을 이용하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170064364A true KR20170064364A (ko) 2017-06-09
KR102437106B1 KR102437106B1 (ko) 2022-08-26

Family

ID=58797057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170082A KR102437106B1 (ko) 2015-12-01 2015-12-01 마찰음을 이용하는 장치 및 방법

Country Status (5)

Country Link
US (1) US10684675B2 (ko)
EP (1) EP3361351B1 (ko)
KR (1) KR102437106B1 (ko)
CN (1) CN108475112B (ko)
WO (1) WO2017095033A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254749A (zh) * 2017-07-12 2019-01-22 联想（新加坡）私人有限公司 便携式信息处理装置、以及其指令输入方法
WO2019184623A1 (en) * 2018-03-30 2019-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing audio signal and related products
KR20220116936A (ko) 2021-02-16 2022-08-23 서울과학기술대학교 산학협력단 사운드 기계학습에 기반한 제스처 검출 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3549363B1 (en) * 2016-11-29 2023-04-26 P&P Ultra G Ltd. Preventing unauthorized use of devices
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
EP3667564A4 (en) * 2017-08-08 2021-04-07 Fang, Chao GESTURE ACQUISITION SYSTEM
DE102018204070A1 (de) * 2018-03-16 2019-09-19 Carl Zeiss Ag Am Kopf tragbares visuelles Ausgabegerät
KR20210058969A (ko) 2018-09-28 2021-05-24 스냅 인코포레이티드 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US11430249B2 (en) * 2019-05-30 2022-08-30 Qualcomm Incorporated Passive acoustic fingerprint sensor
CN112420031A (zh) * 2019-08-23 2021-02-26 华为技术有限公司 设备控制方法及装置
TWI719791B (zh) * 2019-12-31 2021-02-21 緯創資通股份有限公司 觸控靈敏度的調整方法及使用此方法的行動裝置
JP7457438B2 (ja) 2020-02-19 2024-03-28 Fcnt合同会社 生体情報取得装置
US20220308655A1 (en) * 2021-03-25 2022-09-29 City University Of Hong Kong Human-interface-device (hid) and a method for controlling an electronic device based on gestures, and a virtual-reality (vr) head-mounted display apparatus
CN113050812B (zh) * 2021-03-30 2023-11-21 联想(北京)有限公司 一种控制方法、电子笔及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050169A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
KR20140064693A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR20150029105A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
KR101553484B1 (ko) * 2014-09-04 2015-09-16 계명대학교 산학협력단 손동작 인식 장치 및 그 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69926290T2 (de) * 1998-03-18 2006-04-13 Nippon Telegraph And Telephone Corp. Tragbares Kommunikationsgerät mit Anordnung zum Knochenleitungshören
JP2001318691A (ja) 2000-05-09 2001-11-16 Fuji Xerox Co Ltd 個人識別装置
CN100437577C (zh) * 2004-09-10 2008-11-26 索尼株式会社 用户识别方法、用户识别装置、电子设备和电子系统
JP2006107452A (ja) * 2004-09-10 2006-04-20 Sony Corp ユーザ特定方法、ユーザ特定装置、電子機器および機器システム
JP2007109027A (ja) * 2005-10-14 2007-04-26 Technoimagia Co Ltd 指紋認証機能付きデータ記憶装置
US7921364B2 (en) * 2005-11-03 2011-04-05 Nuance Communications, Inc. Controlling a computer user interface with sound
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
US20100289740A1 (en) * 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
US20110096036A1 (en) 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
US9041562B2 (en) * 2011-08-02 2015-05-26 International Business Machines Corporation Controlling a voice site using non-standard haptic commands
JP2013073254A (ja) * 2011-09-26 2013-04-22 Fuji Xerox Co Ltd 位置読み取り装置、筆記具、筆跡読み取りシステムおよびプログラム
US20130238326A1 (en) 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
TWI472992B (zh) * 2012-10-04 2015-02-11 Aver Information Inc 運用於電子產品的聲學式觸控裝置及其觸控方法
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
CN103105945B (zh) 2012-12-17 2016-03-30 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
KR102127927B1 (ko) * 2013-07-30 2020-07-09 엘지전자 주식회사 이동 단말기, 스마트 워치 및 이동 단말기와 스마트 워치간 보안 인증방법
KR101603830B1 (ko) * 2014-02-17 2016-03-15 대전대학교 산학협력단 음성인식을 이용한 2차 보안방법 및 보안 시스템
US10452099B2 (en) * 2014-03-26 2019-10-22 Intel Corporation Handling-noise based gesture control for electronic devices
KR102080747B1 (ko) * 2014-03-28 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9342153B2 (en) * 2014-10-14 2016-05-17 Sony Corporation Terminal device and method for controlling operations
US9952676B2 (en) * 2015-06-25 2018-04-24 Intel Corporation Wearable device with gesture recognition mechanism

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050169A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
KR20140064693A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR20150029105A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
KR101553484B1 (ko) * 2014-09-04 2015-09-16 계명대학교 산학협력단 손동작 인식 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254749A (zh) * 2017-07-12 2019-01-22 联想（新加坡）私人有限公司 便携式信息处理装置、以及其指令输入方法
WO2019184623A1 (en) * 2018-03-30 2019-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing audio signal and related products
US10466961B2 (en) 2018-03-30 2019-11-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing audio signal and related products
KR20220116936A (ko) 2021-02-16 2022-08-23 서울과학기술대학교 산학협력단 사운드 기계학습에 기반한 제스처 검출 장치 및 방법

Also Published As

Publication number Publication date
EP3361351A4 (en) 2018-10-10
WO2017095033A1 (ko) 2017-06-08
CN108475112A (zh) 2018-08-31
KR102437106B1 (ko) 2022-08-26
EP3361351B1 (en) 2021-01-27
CN108475112B (zh) 2021-07-20
US10684675B2 (en) 2020-06-16
US20180348853A1 (en) 2018-12-06
EP3361351A1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
KR102437106B1 (ko) 마찰음을 이용하는 장치 및 방법
US10627902B2 (en) Devices, methods, and graphical user interfaces for a wearable electronic ring computing device
US10394328B2 (en) Feedback providing method and electronic device for supporting the same
JP6415592B2 (ja) ウェアラブル装置
US9122456B2 (en) Enhanced detachable sensory-interface device for a wireless personal communication device and method
CN110045824B (zh) 使用光学传感器检测到的运动手势输入
CN109564498A (zh) 电子设备和识别电子设备中的触摸的方法
US20150309536A1 (en) Systems and methods for a wearable touch-sensitive device
US20160299570A1 (en) Wristband device input using wrist movement
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
CN108234750A (zh) 用于检测盖设备的打开和闭合的电子设备及其操作方法
Yoon et al. Lightful user interaction on smart wearables
WO2013163233A1 (en) Detachable sensory-interface device for a wireless personal communication device and method
KR20150065336A (ko) 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JPWO2018079001A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6725913B2 (ja) 光学センサを使用して検出されるモーションジェスチャ入力
US20160085311A1 (en) Control unit and method of interacting with a graphical user interface
CN109947345A (zh) 一种指纹识别方法和终端设备
Gong Enriching Input Modalities for Computing Devices Using Wrist-Worn Sensors
AU2016100962A4 (en) Wristband device input using wrist movement
KR20150044286A (ko) 증강현실을 이용한 키 입력 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant