KR101898663B1 - 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법 - Google Patents

소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법 Download PDF

Info

Publication number
KR101898663B1
KR101898663B1 KR1020170000347A KR20170000347A KR101898663B1 KR 101898663 B1 KR101898663 B1 KR 101898663B1 KR 1020170000347 A KR1020170000347 A KR 1020170000347A KR 20170000347 A KR20170000347 A KR 20170000347A KR 101898663 B1 KR101898663 B1 KR 101898663B1
Authority
KR
South Korea
Prior art keywords
sound information
information
sound
sampled
extracting
Prior art date
Application number
KR1020170000347A
Other languages
English (en)
Other versions
KR20180079764A (ko
Inventor
남형식
송석정
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020170000347A priority Critical patent/KR101898663B1/ko
Publication of KR20180079764A publication Critical patent/KR20180079764A/ko
Application granted granted Critical
Publication of KR101898663B1 publication Critical patent/KR101898663B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법에 관한 것으로서, 본 발명은 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱하고, 상기 센싱된 소리 정보에 대한 위치를 식별하며, 및 상기 식별된 위치에 상응하는 명령어를 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 구성들을 포함할 수 있다.

Description

소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법{APPARATUS METHOD OF EXTENDED INPUT OF PORTABLE DEVICE BY USING SOUND}
본 발명은 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법에 관한 것으로서, 휴대 기기의 터치스크린 이외의 영역에서 발생하는 소리를 추가적으로 감지하여 입력 정보로 활용하는 기술적 사상에 관한 것이다.
많은 스마트 휴대 기기들이 터치스크린 패널(touch screen panel, TSP) 기술을 적용하여 화면으로부터 사용자의 입력을 받아 동작하고 있다. 터치스크린 패널 기술은 사용자가 직접 원하는 메뉴나 기능들이 직관적으로 선택하여 실행시키기 때문에 많은 편리성을 제공해 주고 있다. 그럼에도 불구하고, 터치스크린 패널의 크기는 스마트폰들의 디스플레이의 크기보다 더 커질 수 없기 때문에 작은 디스플레이를 가진 스마트폰에서 여러 입력을 동시에 주기에는 어려움이 있다.
또한 어떤 경우에는 터치 동작으로 인해 화면을 가리게 되어 오히려 역효과를 주는 경우도 있다. 예를 들어 볼륨 조절이라 던지 밝기 조절 같은 것들은 특별히 선택할 필요 없이 전체적으로 적용되는 효과이기 때문에 직접 접촉하여 실행시킬 필요가 없다. 현재의 시스템의 경우 별도의 버튼이나 별도의 화면에서 이런 기능을 하도록 되어 있는데, 사용자가 별도의 입력 기술을 사용할 수 있으면 좀 더 편리하며 효과적인 방법을 사용자에게 제공할 수 있을 것이다.
대한민국 등록특허 제1097371호 "물체를 두드리는 신호를 비트패턴으로 인식하여 명령을 수행시키는 이동통신단말기" 대한민국 등록특허 제1220633호 "소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말"
일실시예에 따른 확장 입력 장치는 휴대 장치에 다양한 방식의 입력을 제공함으로써, 휴대 장치의 기능을 향상 시키는 것을 목적으로 한다.
일실시예에 따른 확장 입력 장치는 다양한 매질에서 발생하는 소리 정보를 수집하여 서포트 벡터 머신 알고리즘을 통해 학습하고, 학습 정보에 기초하여 입력되는 소리 정보를 인식하는 점에서 인식율을 높이는 것을 목적으로 한다.
일측에 따른 확장 입력 장치는 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱하는 소리 정보 센싱부, 상기 센싱된 소리 정보에 대한 위치를 식별하는 위치 식별부, 및 상기 식별된 위치에 상응하는 명령어를 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 제어부를 포함할 수 있다.
일실시예에 따른 상기 위치 식별부는 상기 발생하는 소리 정보를 수집하여 샘플링하는 샘플링 처리부, 상기 샘플링된 소리 정보로부터 특징정보를 추출하는 특징 추출부, 및 상기 추출된 특징정보에 기초하여 상기 위치를 식별하는 인식부를 포함할 수 있다.
일실시예에 따른 상기 특징 추출부는, 상기 샘플링된 소리 정보를 시간 도메인에서 주파수 도메인으로 변환하고, 상기 변환된 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거하며, 상기 저주파 대역이 제거된 소리 정보를 노멀라이징(normalizing) 및 차원 리듀싱(dimension reducing)하여 가공하고, 상기 가공된 신호를 기준 신호와 대비하여 상기 위치를 식별할 수 있다.
일실시예에 따른 상기 샘플링 처리부는, 특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 수집하여 샘플링하고, 상기 특징 추출부는, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 상기 반복 후 샘플링된 소리 정보에 대한 특징정보를 추출할 수 있다.
일실시예에 따른 상기 제어부는, 상기 반복 후 샘플링된 소리 정보에 대한 특징정보를 상기 특정 위치의 기준 신호로 설정하고, 상기 설정된 기준 신호와 특정 명령어를 연관지어 메모리에 등록할 수 있다.
일실시예에 따른 상기 위치 식별부는, 상기 센싱된 소리 정보에 파형을 확인하여 상기 위치를 식별할 수 있다.
일실시예에 따른 상기 소리 정보 센싱부는, 상기 외부 영역에서 발생하는 소리 정보를 복수의 마이크를 통해 센싱할 수 있다.
일실시예에 따른 상기 위치 식별부는, 상기 센싱된 소리 정보에 대한 시간 차이 및 세기 차이 중에서 적어도 하나에 기초하여 상기 위치를 식별할 수 있다.
일실시예에 따른 상기 제어부는, 상기 추출된 명령어와 상기 터치 센싱 영역에서 발생하는 터치 정보를 조합하여 상기 기기제어신호를 생성할 수 있다.
일측에 따른 확장 입력 장치는 두 개의 마이크에 입력되는 각각의 소리 정보를 샘플링하는 샘플링 처리부, 상기 샘플링된 각각의 소리 정보를 주파수 도메인으로 변환하고, 상기 변환된 각각의 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거하며, 상기 저주파 대역을 제거한 각각의 소리 정보를 노멀라이징(normalizing)하고, 상기 노멀라이징(normalizing)한 각각의 소리 정보를 하나의 소리 정보로 합쳐 차원 리듀싱(dimension reducing)하며, 상기 차원 리듀싱된 소리 정보로부터 특징정보를 추출하는 특징 추출부, 및 상기 추출된 특징정보에 기초하여 상기 위치를 식별하는 인식부를 포함할 수 있다.
일실시예에 따른 확장 입력 장치는 상기 식별된 위치에 상응하는 명령어를 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 제어부를 더 포함할 수 있다.
일실시예에 따른 상기 제어부는, 상기 추출된 명령어와 기기에 발생하는 입력 정보를 조합하여 상기 기기제어신호를 생성할 수 있다.
일측에 따른 확장 입력 방법은 소리 정보 센싱부에서, 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱하는 단계, 위치 식별부에서, 상기 센싱된 소리 정보에 대한 위치를 식별하는 단계, 및 제어부에서, 상기 식별된 위치에 상응하는 명령어를 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 위치를 식별하는 상기 단계는, 상기 발생하는 소리 정보를 수집하여 샘플링하는 단계, 상기 샘플링된 소리 정보로부터 특징정보를 추출하는 단계, 및 상기 추출된 특징정보에 기초하여 상기 위치를 식별하는 단계를 포함할 수 있다.
일실시예에 따른 상기 특징정보를 추출하는 상기 단계는, 상기 샘플링된 소리 정보를 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 변환된 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거하는 단계, 상기 저주파 대역이 제거된 소리 정보를 노멀라이징(normalizing) 및 차원 리듀싱(dimension reducing)하여 가공하는 단계, 및 상기 가공된 신호를 기준 신호와 대비하여 상기 위치를 식별하는 단계를 포함할 수 있다.
일실시예에 따른 확장 입력 방법은 특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 수집하여 샘플링하는 단계, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 상기 반복 후 샘플링된 소리 정보에 대한 특징정보를 추출하는 단계, 및 상기 샘플링된 소리 정보에 대한 특징정보를 상기 특정 위치의 기준 신호로 설정하고, 상기 설정된 기준 신호와 특정 명령어를 연관지어 메모리에 등록하는 단계를 더 포함할 수 있다.
일실시예에 따른 상기 기기제어신호를 생성하는 단계는, 상기 추출된 명령어와 상기 터치 센싱 영역에서 발생하는 터치 정보를 조합하여 상기 기기제어신호를 생성하는 단계를 포함할 수 있다.
일실시예에 따르면, 확장 입력 장치는 휴대 장치에 다양한 방식의 입력을 제공함으로써, 휴대 장치의 기능을 향상 시킬 수 있다.
일실시예에 따르면, 다양한 매질에서 발생하는 소리 정보를 수집하여 서포트 벡터 머신 알고리즘을 통해 학습하고, 학습 정보에 기초하여 입력되는 소리 정보를 인식하는 점에서 인식율을 높일 수 있다.
도 1은 스마트폰 주변에서 발생하는 소리를 이용하는 확장 입력에 대해 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 확장 입력 장치를 설명하는 도면이다.
도 3은 일실시예에 따른 위치 식별부를 보다 구체적으로 설명하는 도면이다.
도 4는 샘플링된 소리 정보를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 확장 입력 방법을 설명하는 도면이다.
도 6은 스마트폰의 한쪽 면 7개 위치 (P1에서 P7)로부터 입력된 소리를 변환한 파형을 설명하는 도면이다.
도 7은 레이어(layer)의 결과들을 두 개씩 비교하는 방식인 bottom-up multi-case SVM 분류기를 설명한다.
도 8은 7개의 위치를 분류해 내는 성능을 평가한 결과를 설명하는 도면이다.
도 9는 12개 위치에 대한 에러 측정 결과를 나타내는 도면이다.
도 10 내지 도 11은 외부 영역에서 발생하는 소리 정보와, 내부 영역에서 발생하는 입력을 조합하여 기기를 제어하는 실시예를 설명하는 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 스마트폰(100) 주변에서 발생하는 소리를 이용하는 확장 입력에 대해 설명하는 도면이다.
본 발명은 휴대 장치에 직접적인 접촉을 하지 않고, 휴대 장치의 주변을 두드리는 소리를 통해 확장 입력이 가능하다. 확장 입력은 휴대 장치가 키 입력이나 터치 등을 통해 제공하던 기본 입력과 구별되는 입력으로서, 확장 입력 또는 확장 입력과 기본 입력과의 조합을 통해 다양한 기기제어가 가능하다.
휴대 장치는 터치스크린이 적용된 다양한 기기뿐만 아니라, 보통의 시계와 같이 터치스크린이 적용되지 않고 전통적인 키 입력에 따라 제어되는 기기로도 해석될 수도 있다.
이하에서는, 휴대 장치들 중에서도 스마트폰(100)을 통해 일실시예에 따른 확장 입력 장치를 설명한다.
본 발명은 스마트폰(100)에 직접적인 접촉 없이, 스마트폰(100)의 주변을 두드리는 소리를 이용하여 스마트폰(100)에 입력을 주어, 기존의 입력 방식을 확장하는 기술이다.
본 발명은 스마트폰(100) 주변의 테이블이나 책상을 손가락 이나 펜 등으로 두드려 소리를 발생시켰을 때 스마트폰(100)의 마이크를 통하여 소리를 녹음하고, 위치 별 소리의 파형 차이를 support vector machine (SVM)을 이용하여 구별해 내는 기술이다.
예를 들어, P1의 위치(110)에서 발생하는 소리 정보와 P2의 위치(120)에서 발생하는 소리 정보는 파형에서 차이가 있다. 스마트폰(100)은 사전에 미리 지정된 수만큼 P1의 위치(110) 및 P2의 위치(120)를 각각 두드리는 소리 정보들을 수집하여 학습하고, 학습 결과를 기록하여 위치별 파형들을 기록할 수 있다. 이에, P1의 위치(110)에서 발생하는 소리 정보에 해당하는 파형을 이용해서 기학습된 결과로부터 위치를 식별할 수 있다.
도 2는 본 발명의 일실시예에 따른 확장 입력 장치(200)를 설명하는 도면이다.
일실시예에 따른 확장 입력 장치(200)는 소리 정보 센싱부(210), 위치 식별부(220), 및 제어부(230)를 포함할 수 있다.
일실시예에 따른 소리 정보 센싱부(210)는 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱할 수 있다.
이를 위해 소리 정보 센싱부(210)는 적어도 하나 이상의 마이크를 이용해서 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 수집할 수 있다. 일례로, 스마트폰의 일측과 상기 일측에 상반되는 다른 일측에 위치하는 두 개의 마이크를 이용해서 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱할 수 있다. 보다 구체적으로, 스마트폰의 상측과 하측에 위치하는 마이크를 이용해서 소리 정보를 센싱할 수 있다.
일실시예에 따른 위치 식별부(220)는 센싱된 소리 정보에 대한 위치를 식별할 수 있다. 일례로, 위치 식별부(220)는 센싱된 소리 정보에 파형을 확인하여 위치를 식별할 수 있다.
일실시예에 따른 위치 식별부(220)는 도 3을 통해 보다 구체적으로 설명한다.
일실시예에 따른 제어부(230)는 식별된 위치에 상응하는 명령어를 추출하고, 추출된 명령어에 상응하는 기기제어신호를 생성할 수 있다. 제어부(230)는 특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보에 대한 특징정보를 특정 위치의 기준 신호로 설정하고, 설정된 기준 신호와 특정 명령어를 연관지어 메모리에 등록할 수 있다.
또한, 제어부(230)는 터치 센싱 영역에서 발생하는 터치 신호와 함께 외부 영역에서 발생하는 소리 정보를 조합하여 기기제어신호를 생성할 수도 있다. 예를 들어, 터치 신호는 터치 센싱 영역에서 발생하는 입력이므로, 이에 해당하는 명령어가 이미 존재할 수 있다. 한편, 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보 역시 파장으로 구별되기 때문에 제어부(230)가 특정 위치에서 발생하는 소리 정보를 새로운 입력으로 확장하여 인지할 수 있다. 이에 더해, 제어부(230)는 소리 정보와 터치 센싱 영역에서 발생하는 터치 정보를 조합하여 또 다른 기기제어신호를 생성할 수 있다.
도 3은 일실시예에 따른 위치 식별부(300)를 보다 구체적으로 설명하는 도면이다.
일실시예에 따른 위치 식별부(300)는 센싱된 소리 정보에 대한 위치를 식별하는 구성요소로서, 구체적으로는 샘플링 처리부(310), 특징 추출부(320), 및 인식부(330)를 포함할 수 있다.
먼저, 일실시예에 따른 샘플링 처리부(310)는 발생하는 소리 정보를 수집하여 샘플링할 수 있다.
일실시예에 따른 특징 추출부(320)는 샘플링된 소리 정보로부터 특징정보를 추출할 수 있다. 특히, 특징 추출부(320)는 샘플링된 소리 정보를 시간 도메인에서 주파수 도메인으로 변환할 수 있다. 또한, 특징 추출부(320)는 변환된 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거 할 수 있다. 또한, 특징 추출부(320)는 저주파 대역이 제거된 소리 정보를 노멀라이징(normalizing) 및 차원 리듀싱(dimension reducing)하여 가공하고, 가공된 신호를 기준 신호와 대비하여 위치를 식별할 수 있다. 특히, 샘플링 처리부(310)는 특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 수집하여 샘플링하고, 특징 추출부(320)는 서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 반복 후 샘플링된 소리 정보에 대한 특징정보를 추출할 수 있다.
일실시예에 따른 인식부(330)는 추출된 특징정보에 기초하여 위치를 식별할 수 있다. 또한, 추출된 특징정보에 기초하여 위치를 식별할 수 있다.
다른 일실시예에 따른 확장 입력 장치(300)는 샘플링 처리부(310)를 통해 두 개의 마이크에 입력되는 각각의 소리 정보를 샘플링할 수 있다. 이 경우, 소리 정보 센싱부에서 외부 영역에서 발생하는 소리 정보를 복수의 마이크를 통해 센싱하는 경우라면, 위치 식별부는 센싱된 소리 정보에 대한 시간 차이 및 세기 차이 중에서 적어도 하나에 기초하여 위치를 식별할 수도 있다.
특징 추출부(320)는 샘플링된 각각의 소리 정보를 프레임 형태로 수집하여(321) 수집된 각각의 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거(322)함으로써 주파수 도메인으로 변환할 수 있다(323).
한편, 특징 추출부는 저주파 대역을 제거한 각각의 소리 정보를 노멀라이징(normalizing)(324)하고, 노멀라이징(normalizing)한 각각의 소리 정보를 하나의 소리 정보로 합칠 수 있다. 또한, 이러한 차원 리듀싱(dimension reducing)(325)을 통해 소리 정보로부터 특징정보를 추출할 수 있다.
인식부(330)는 추출된 특징정보에 기초하여 위치를 식별할 수 있다. 이때, 인식부(330)는 트레이닝된 데이터 세트와 현재 입력되는 실제의 데이터 세트를 비교하여 위치를 식별할 수 있다.
만약, 스마트폰 주변의 위치를 두드리면서 위치 식별을 위한 기준 신호를 수집하는 것이라면, 트레이닝 데이터 세트를 선택하기 위한 스위치(333)가 쇼트되어 식별된 위치를 Support Vector 추출기(331)에 입력할 수 있다. 반면, 스마트폰 주변의 위치를 두드리는 것이 현재 소리 정보에 대한 위치 식별을 위한 것이라면, 실제 데이터 세트를 선택하기 위한 스위치(334)가 쇼트되어 현재 발생하는 소리 정보를 SVM 분류기(332)로 입력할 수 있다.
한편, 제어부는 식별된 위치에 상응하는 명령어를 추출하고, 추출된 명령어에 상응하는 기기제어신호를 생성할 수 있다. 특히, 제어부는 추출된 명령어와 기기에 발생하는 입력 정보를 조합하여 기기제어신호를 생성할 수 있다.
도 4는 샘플링된 소리 정보를 설명하는 도면이다.
일실시예에 따르면, 스마트폰의 마이크로 녹음된 소리는 위쪽 마이크와 아래쪽 마이크 각각에서 4096개로 샘플링된 소리 정보를 포함한다.
만약 스마트폰이 계속해서 주변의 소리를 녹음하고, 특징 추출과 위치 식별 과정이 실행하고 있다면, 긴 처리 시간(processing time)으로 인해 사용자가 의도적으로 두드린 소리를 놓칠 수 있다. 반면, 사용자가 주변을 의도적으로 여러 번 두드릴 때 각각 두드리는 동작의 사이에는 수백 밀리 초 정도의 시간이 소요 되므로, 위치를 분별하는 데 충분한 시간이다. 따라서, 도 3의 도면부호 321에 상응하는 프레이밍 블록(framing block)에서 각 마이크 마다 시프트 레지스터(shift register)인 topSR 구조(410) 및 botSR 구조(420)를 이용하여 연속적으로 주변 소리를 각각 녹음하고 있다가, 녹음된 소리가 미리 지정된 임계값 STH를 넘을 때 이를 저장하여 이후 신호처리단으로 보낼 수 있다. 도면부호 411은 위쪽 마이크로부터 수집하는 샘플들에 해당하고, 도면부호 421은 아래쪽 마이크로부터 수집하는 샘플들에 해당한다.
만약 녹음된 소리가 임계값을 넘지 못한다면 64번째까지의 샘플이 계속해서 앞으로 시프트(shift)되고, 새로운 샘플이 64번째에 저장될 수 있다. 그러다 임계값을 넘는 소리가 입력될 경우에, 시프트는 멈추고 입력된 소리를 64번째 이후 샘플들로 저장할 수 있다. 또한, 4096개의 샘플들이 준비되면 준비된 샘플들을 처리하기 위한 이후 알고리즘이 실행될 수 있다.
도 5는 본 발명의 일실시예에 따른 확장 입력 방법을 설명하는 도면이다.
본 발명의 일실시예에 따른 확장 입력 방법은 먼저, 프레이밍 블록(framing block)에서 소리 정보를 입력받기 위한 초기 설정을 수행한다(단계 501). 이후, 확장 입력 방법은 마이크 마다 시프트 레지스터(shift register)인 topSR 구조 및 botSR 구조를 이용하여 연속적으로 주변 소리를 각각 녹음하고(단계 502), 녹음 과정에서 녹음된 소리 정보가 노이즈에 해당하는지 아니면 사용자의 의도적인 입력에 해당하는 지를 판단할 수 있다(단계 504).
단계 504의 판단결과, 의도적인 입력이 아니라면 단계 505를 통해 위쪽 마이크 및 아래쪽 마이크 각각에서 녹음된 소리가 미리 지정된 각각의 임계값 STH 이하인지 여부를 더 판단할 수 있다.
단계 505의 판단결과, 위쪽 마이크 및 아래쪽 마이크 각각에서 녹음된 소리가 미리 지정된 각각의 임계값 STH보다 작은 경우라면, 단계 504 판단과정이 다시 수행될 수 있도록 샘플들을 하나씩 시프트할 수 있다(단계 503).
한편, 단계 504의 판단결과 의도적인 입력이거나, 단계 505의 판단에서 위쪽 마이크 및 아래쪽 마이크 각각에서 녹음된 소리가 미리 지정된 각각의 임계값 STH보다 큰 경우라면, 수집된 각각의 소리 정보에 대해 주파수 변환 등의 이후 처리를 수행하기 위한 준비 과정을 수행할 수 있다(단계 506).
한편, 위쪽 마이크 및 아래쪽 마이크 각각에서 녹음된 소리가 미리 지정된 각각의 임계값 STH보다 큰 경우라면, 의도적인 입력으로 설정될 수 있다(단계 507).
즉, 녹음된 소리가 임계값을 넘지 못한다면 64번째까지의 샘플이 계속해서 앞으로 시프트(shift)되고, 새로운 샘플이 64번째에 저장될 수 있다. 그러다 임계값을 넘는 소리가 입력될 경우에, 시프트는 멈추고 입력된 소리를 64번째 이후 샘플들로 저장할 수 있다. 또한, 일실시예에 따른 확장 입력 방법은 4096개의 샘플들이 준비되었는지 여부를 판단하고(단계 508), 준비 되었다면 준비된 샘플들을 이용해서 위치를 식별하기 위한 이후 알고리즘을 실행할 수 있다(단계 509).
만약, 4096개의 샘플들이 준비되지 않았다면 단계 502로 분기하여 주변 소리를 각각 녹음하는 과정을 반복할 수 있다.
이렇게 저장된 타임 도메인의 신호는 노이즈에 매우 민감하게 달라지고, 두드리는 소리가 항상 일정하지 않기 때문에 분류를 위한 SVM의 입력 데이터로 적절하지 못하다. 그러나, 주파수 도메인으로 변환하면, 항상 일정한 주파수 성분의 파형을 보이고, 노이즈 또한 전체 주파수대역으로 퍼져 파형에 큰 영향을 주지 않기 때문에, 입력된 소리를 고대역 필터링을 수행할 수 있다.
또한, 입력된 소리 정보는 고대역 필터링 후 빠른 퓨리에 변환(fast fourier transform, FFT)를 통하여 주파수 도메인으로 변환될 수 있다.
고대역 필터는 짝수 번째 샘플에서 홀수 번째 샘플을 빼주는 방법으로 간단하게 구현될 수 있다. 즉, 고역필터를 거치고, FFT로 주파수 도메인으로 변환된 신호는 마이크 별 각 1024개의 샘플로 줄어들게 되고, 이를 전체적으로 노멀라이징 시킨 후, 위쪽 마이크로부터 32개, 아래쪽 마이크로부터 32개 샘플을 각각 같은 간격으로 취한 뒤 이들을 붙여 최종적으로 64개의 특징(feature)으로 만들어진 데이터를 준비할 수 있다.
도 6은 스마트폰의 한쪽 면 7개 위치 (P1에서 P7)로부터 입력된 소리를 변환한 파형을 설명하는 도면이다.
도 6의 도면부호 610는 스마트폰의 한쪽 면에서 발생하는 7개 위치 (P1에서 P7)를 설명하는 도면이고, 도면부호 620는 도면부호 610의 위치에서 발생하는 소리 정보에 대한 파형을 나타낸다. 특히, 도면부호 621에 해당하는 영역은 스마트폰의 위쪽 마이크에 입력되는 소리의 파형을 나타내고, 도면부호 622에 해당하는 영역은 스마트폰의 아래쪽 마이크에 입력되는 소리의 파형을 나타낸다.
입력된 소리의 발생 위치를 구별하기 위해서 SVM 분류기를 사용할 수 있다.
또한, 신호를 분류하기 위해서는 SVM 분류기를 학습시킬 필요가 있다. 스마트폰의 해당 시스템에서 학습모드로 설정 한 뒤, 각 위치별로 일정한 수만큼의 기준 입력을 발생시킬 수 있다. 이때, 각 위치별 기준 입력이 많을수록 더 정확한 분류기를 만들 수 있다. 이 기준 데이터는 위치 인식 블록(position recognizing block)에서 학습 데이터로 사용되어, 소리의 발생 위치를 구별해 낼 수 있는 support vector를 찾아내어 모델을 만들어준다. 이후, 일반 모드에서 이 SVM 분류기를 이용하여 입력된 실제 소리 데이터의 발생 위치를 찾아 낼 수 있다.
하나의 SVM 분류기는 입력된 데이터를 단 두 개의 부류로만 구분 가능하다. 따라서 하나의 입력을 여러 위치로 분류하기 위해서 여러 개의 SVM을 이용한 멀티 케이스(multi-case)의 분류 구조가 필요하다.
도 7은 레이어(layer)의 결과들을 두 개씩 비교하는 방식인 bottom-up multi-case SVM 분류기를 설명한다.
도 7에서는 각 레이어별로 결과들을 비교하기 위해, 첫 번째 레이어(710)에서 가까이 있는 각각의 두 위치들로 분류하고, 두 번째 레이어(720)에서 첫 번째 레이어(710)의 결과들을 두 개씩 비교하는 방식으로 bottom-up multi-case SVM 분류기를 사용할 수 있다. 또한, 이 분류기는 세 번째 레이어(730)에서 두 번째 레이어(720)의 결과들을 비교하는 방식으로 위치를 분류할 수 있다.
먼저, SVM1 분류기는 '1'과 '2'의 비교 결과에 대해 '1'을 출력할 수 있다. 한편, SVM2 분류기는 '3'과 '4'의 비교 결과에 대해 '3'을 출력할 수 있다. 또한, SVM3 분류기는 '5' 및 '6'의 비교 결과에 대해 '5'를 출력할 수 있다. 한편, SVM4는 입력된 '1', 및 '3'의 비교 결과에 대해 '3'을 출력할 수 있고, SVM5는 입력된 '5' 및 '7'의 비교 결과에 대해 '5'를 출력할 수 있다. 또한, SVM6는 입력된 '3' 및 '5'의 비교 결과에 대해 '5'를 출력할 수 있다.
도 8은 7개의 위치를 분류해 내는 성능을 평가한 결과를 설명하는 도면이다.
도 8의 표(800)는 도 7에서 설명한 bottom-up multi-case SVM 분류기를 이용하여 식별된 위치와 실제 두드린 위치를 비교함으로써, bottom-up multi-case SVM 분류기의 성능을 평가한 결과를 나타낸다.
스마트폰에 해당 시스템을 어플리케이션으로 제작 하여 설치할 수 있다. 보다 구체적으로, 표(800)은 나무로 된 테이블 위에 스마트폰을 올려둔 뒤 외부 영역인 주변 7개 위치에 대해 학습시킨 뒤 손가락으로 각 위치별로 100번씩 두드려 각 입력에 대해 시스템이 내린 분류 결과에 해당한다.
분류기의 성능은 100개 입력 중 실패한 분류의 비율을 에러로 나타내는데, 이때 '해당없음'으로 분류한 에러인 ER1, 입력된 위치와 다른 위치로 분류한 에러인 ER2로 구분할 수 있다. 본 발명을 실제 스마트폰에 적용하였을 때, ER1은 아무런 동작을 일으키지 않지만, ER2는 의도한 동작과 다른 동작을 일으킬 수 있기 때문에 ER2가 ER1에 비해 치명적인 에러라고 볼 수 있다. 따라서, 7개 위치에 대한 평균 결과는 ER1은 7.3 %, ER2는 1.3 %로 나타낼 수 있다.
도 9는 12개 위치에 대한 에러 측정 결과를 나타내는 도면이다.
도면부호 910을 살펴보면, 스마트폰의 터치 센싱 영역에 대한 외부 영역 12개 위치 (P1에서 P12)를 나타내고, 도면부호 920은 도면부호 910에 대한 에러 측정 결과를 나타낼 수 있다. 평균 에러는 ER1의 경우 14.6 %, ER2는 0.8 %로 나타났다. 7개 위치에 비해 ER1은 2배 가량 높아졌지만, 더욱 중요한 에러인 ER2는 비슷한 수준을 나타낼 수 있다.
[표 1]은 한 사용자가 학습시킨 알고리즘을 다른 6명의 사용자들(USER2에서 USER 7)이 사용했을 때 측정한 에러 결과를 나타낼 수 있다.
에러타입 USER1 USER2 USER3 USER4 USER5 USER6 USER7
ER1 5.0% 32.1% 17.9% 27.9% 22.9% 30.7% 31.4%
ER2 2.1% 8.6% 4.3% 7.9% 20.0% 7.9% 40.0%
TER 7.1% 40.7% 22.2% 35.8% 42.9% 38.6% 71.4%
[표 1]를 보면 알고리즘을 훈련시킨 USER1을 제외하고 모두 높은 에러를 나타내고 있다. 이를 바꾸어 설명하면, 본 기술은 사용자마다 스마트 기기 주변을 두드리는 소리의 차이를 구분해낼 수 있다는 의미로 해석될 수 있다. 사용자 마다 두드리는 소리의 파형을 얻은 결과 눈으로 구별될 만큼의 차이를 보인다.
사용자간의 차이뿐만 아니라, 같은 사용자라 하더라도 스마트 기기 주변을 두드리는 물체에 따라서도 파형은 차이를 보일 수 있다. 즉 소리가 전달되는 매질을 구별할 수 있다. [표 2]는 같은 사용자가 각기 다른 매질(나무1, 나무2, 플라스틱, 종이, 유리, 철) 위 스마트 기기를 놓고 본 알고리즘의 성능을 측정한 표이다.
에러타입 WOOD1 WOOD2 PLASTIC PAPER GLASS METAL
ER1 5.0% 65.0% 95.0% 40.0% 0.0% 100.0%
ER2 2.1% 0.0% 0.0% 60.0% 100.0% 0.0%
TER 7.1% 65.0% 95.0% 100.0% 100.0% 100.0%
한 사용자가 각 매질위에 스마트폰을 놓고 같은 위치를 반복적으로 두드려 수집한 위치별 100개의 데이터를 앞서 설명한 알고리즘과 같은 모델로 분류한 결과 모든 매질을 100% 의 정확도로 구분 가능하다.
도 10 내지 도 11은 외부 영역에서 발생하는 소리 정보와, 내부 영역에서 발생하는 입력을 조합하여 기기를 제어하는 실시예를 설명하는 도면이다.
먼저, 도 10에서 보는 바와 같이, 본 발명은 스마트폰의 스크린에 접촉 없이 웹페이지나 문서 등의 스크롤을 제어할 수 있다.
도면부호 1010의 스마트폰은 웹페이지를 표시하는데, 스마트폰의 외부 영역 중에서 우측 하단을 두드려서 소리 정보를 발생하는 경우 표시중인 웹페이지를 일정 길이만큼 아래쪽으로 스크롤 할 수 있다. 만약, 도면부호 1020의 스마트폰이 웹페이지를 표시하며, 이때 스마트폰의 하단을 두드려서 소리 정보가 입력되는 경우, 웹페이지의 가장 아래 부분으로 이동할 수 있다.
반대로, 도면부호 1030의 스마트폰은 웹페이지를 표시하는데, 스마트폰의 외부 영역 중에서 우측 상단을 두드려서 소리 정보를 발생하는 경우 표시중인 웹페이지를 일정 길이만큼 위쪽으로 스크롤 할 수 있다. 만약, 도면부호 1040의 스마트폰이 웹페이지를 표시하며, 이때 스마트폰의 상단을 두드려서 소리 정보가 입력되는 경우, 스마트폰은 웹페이지의 가장 위 부분으로 이동할 수 있다.
다음으로, 도 11을 참고하면, 도면부호 1110의 기기는 스마트폰에 지도를 표시하는데, 스마트폰의 외부 영역 중 위쪽에서 미리 지정된 패턴의 소리 정보가 발생하는 경우, 도면부호 1120에서 보는 바와 같이 스마트폰은 해당 지도를 줌아웃하여 축척을 변경시킬 수 있다.
또한, 도면부호 1130의 기기는 스마트폰에 지도를 표시하는데, 스마트폰의 외부 영역 중 아래쪽에서 미리 지정된 패턴의 소리 정보가 발생하는 경우, 도면부호 1140에서 보는 바와 같이 스마트폰은 해당 지도를 줌인하여 축척을 변경시킬 수 있다.
한편, 도면부호 1150의 기기는 스마트폰에 지도를 표시하는데, 스마트폰의 외부 영역 중 우측 상단에서 미리 지정된 패턴의 소리 정보가 발생하는 경우, 도면부호 1160에서 보는 바와 같이 스마트폰은 해당 지도를 왼쪽으로 회전(Rotate)할 수 있다.
또한, 도면부호 1170의 기기는 스마트폰에 지도를 표시하는데, 스마트폰의 외부 영역 중 우측 하단에서 미리 지정된 패턴의 소리 정보가 발생하는 경우, 도면부호 1180에서 보는 바와 같이 스마트폰은 해당 지도를 오른쪽으로 회전(Rotate)할 수 있다.
일실시예에 따른 스마트폰은 외부 영역에서 발생하는 소리 정보의 크기를 고려하여, 스크롤, 줌인 배율, 줌아웃 배율, 로테이트 정도 등을 판단하여 실행할 수 있다.
일실시예에 따른 스마트폰은 기존의 터치스크린 패널의 입력과, 외부 영역에서 발생하는 소리 정보를 다양한 입력이 가능하다. 예를 들어, 지도를 확대/축소 하거나 회전할 때, 손가락으로 지도상에서 기준이 되기 원하는 곳을 터치한 후, 스마트 기기의 위쪽을 두드림으로써, 해당 부분을 중심으로 확대하거나, 아래쪽을 두드려 축소, 오른쪽 위 아래를 두드려 시계 방향 또는 반시계 방향으로 회전을 할 수 있다.
한편, 스마트 워치와 같은 웨어러블 기기는 크기가 작기 때문에 입력 방법에 상당한 제한이 있다. 그러나, 본 발명의 컨셉을 웨어러블 기기에 입력 방식으로 사용하면 기존의 입력 방식과 더불어 다양한 입력이 가능하다. 대부분의 웨어러블 기기에는 하나 이상의 마이크가 내장되고 있고, 본 기술은 하나의 마이크만으로도 입력 소리의 위치를 구분 할 수 있기 때문에 새로운 입력 방식으로 활용 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱하는 소리 정보 센싱부;
    상기 센싱된 소리 정보를 수집하여 샘플링하고, 상기 샘플링된 소리 정보로부터 특징정보를 추출하며, 상기 추출된 특징정보에 기초하여 상기 외부 영역에 대응되는 위치를 식별하는 위치 식별부; 및
    상기 식별된 위치에 상응하는 명령어를 메모리로부터 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 제어부
    를 포함하되,
    사전에 상기 위치 식별부는,
    특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 복수의 매질별로 수집하여 샘플링하고, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 복수의 매질별로 추출하며,
    상기 제어부는,
    상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 특정 위치의 기준 신호로 설정하고, 상기 설정된 기준 신호와 특정 명령어를 연관지어 상기 메모리에 미리 등록하는 확장 입력 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 위치 식별부는,
    상기 샘플링된 소리 정보를 시간 도메인에서 주파수 도메인으로 변환하고, 상기 변환된 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거하며, 상기 저주파 대역이 제거된 소리 정보를 노멀라이징(normalizing) 및 차원 리듀싱(dimension reducing)하여 가공하고, 상기 가공된 신호를 기준 신호와 대비하여 상기 위치를 식별하는 확장 입력 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 위치 식별부는,
    상기 센싱된 소리 정보에 파형을 확인하여 상기 위치를 식별하는 확장 입력 장치.
  7. 제1항에 있어서,
    상기 소리 정보 센싱부는,
    상기 외부 영역에서 발생하는 소리 정보를 복수의 마이크를 통해 센싱하는 확장 입력 장치.
  8. 제7항에 있어서,
    상기 위치 식별부는,
    상기 센싱된 소리 정보에 대한 시간 차이 및 세기 차이 중에서 적어도 하나를 더 이용하여 상기 위치를 식별하는 확장 입력 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 추출된 명령어와 상기 터치 센싱 영역에서 발생하는 터치 정보를 조합하여 상기 기기제어신호를 생성하는 확장 입력 장치.
  10. 터치 센싱 영역의 외부 영역으로부터 두 개의 마이크에 입력되는 각각의 소리 정보를 수집하여 샘플링하는 샘플링 처리부;
    상기 샘플링된 각각의 소리 정보를 주파수 도메인으로 변환하고, 상기 변환된 각각의 소리 정보를 고대역 필터(High-pass filter)를 이용하여 저주파 대역을 제거하며, 상기 저주파 대역을 제거한 각각의 소리 정보를 노멀라이징(normalizing)하고, 상기 노멀라이징(normalizing)한 각각의 소리 정보를 하나의 소리 정보로 합쳐 차원 리듀싱(dimension reducing)하며, 상기 차원 리듀싱된 소리 정보로부터 특징정보를 추출하는 특징 추출부;
    상기 추출된 특징정보에 기초하여 상기 외부 영역에 대응되는 위치를 식별하는 인식부; 및
    상기 식별된 위치에 상응하는 명령어를 메모리로부터 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 제어부
    를 포함하되,
    사전에 상기 샘플링 처리부는,
    특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 복수의 매질별로 수집하여 샘플링하며,
    사전에 상기 특징 추출부는,
    서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 복수의 매질별로 추출하고,
    상기 제어부는,
    상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 특정 위치의 기준 신호로 설정하고, 상기 설정된 기준 신호와 특정 명령어를 연관지어 상기 메모리에 미리 등록하는 확장 입력 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 제어부는,
    상기 추출된 명령어와 기기에 발생하는 입력 정보를 조합하여 상기 기기제어신호를 생성하는 확장 입력 장치.
  13. 위치 식별부에서, 특정 위치에서 미리 지정된 횟수만큼 반복되는 소리 정보를 복수의 매질별로 수집하여 샘플링하는 단계;
    상기 위치 식별부에서, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용하여 상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 복수의 매질별로 추출하는 단계;
    제어부에서, 상기 반복 후 샘플링된 소리 정보에 대한 특징정보들을 상기 특정 위치의 기준 신호로 설정하고, 상기 설정된 기준 신호와 특정 명령어를 연관지어 메모리에 등록하는 단계;
    소리 정보 센싱부에서, 터치 센싱 영역의 외부 영역에서 발생하는 소리 정보를 센싱하는 단계;
    상기 위치 식별부에서, 상기 센싱된 소리 정보를 수집하여 샘플링하고, 상기 샘플링된 소리 정보로부터 특징정보를 추출하며, 상기 추출된 특징정보에 기초하여 상기 외부 영역에 대응되는 위치를 식별하는 단계; 및
    상기 제어부에서, 상기 식별된 위치에 상응하는 명령어를 상기 메모리로부터 추출하고, 상기 추출된 명령어에 상응하는 기기제어신호를 생성하는 단계
    를 포함하는 확장 입력 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제13항에 있어서,
    상기 기기제어신호를 생성하는 단계는,
    상기 추출된 명령어와 상기 터치 센싱 영역에서 발생하는 터치 정보를 조합하여 상기 기기제어신호를 생성하는 단계
    를 포함하는 확장 입력 방법.
KR1020170000347A 2017-01-02 2017-01-02 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법 KR101898663B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000347A KR101898663B1 (ko) 2017-01-02 2017-01-02 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000347A KR101898663B1 (ko) 2017-01-02 2017-01-02 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법

Publications (2)

Publication Number Publication Date
KR20180079764A KR20180079764A (ko) 2018-07-11
KR101898663B1 true KR101898663B1 (ko) 2018-09-13

Family

ID=62917880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000347A KR101898663B1 (ko) 2017-01-02 2017-01-02 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법

Country Status (1)

Country Link
KR (1) KR101898663B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4177452B2 (ja) * 2006-11-09 2008-11-05 松下電器産業株式会社 音源位置検知装置
JP2015118004A (ja) * 2013-12-18 2015-06-25 一般財団法人電力中央研究所 音源位置の推定方法、推定装置及び推定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097371B1 (ko) 2010-08-02 2011-12-23 주식회사 에스지아이코리아 물체를 두드리는 신호를 비트패턴으로 인식하여 명령을 수행시키는 이동통신단말기
KR101220633B1 (ko) 2011-03-04 2013-01-10 한국과학기술원 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
KR102018654B1 (ko) * 2013-06-07 2019-09-05 엘지전자 주식회사 이어 마이크가 장착되는 이동 단말기 및 그 동작방법
KR20150016683A (ko) * 2013-08-05 2015-02-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4177452B2 (ja) * 2006-11-09 2008-11-05 松下電器産業株式会社 音源位置検知装置
JP2015118004A (ja) * 2013-12-18 2015-06-25 一般財団法人電力中央研究所 音源位置の推定方法、推定装置及び推定プログラム

Also Published As

Publication number Publication date
KR20180079764A (ko) 2018-07-11

Similar Documents

Publication Publication Date Title
US11495228B2 (en) Display apparatus and method for registration of user command
EP2521959B1 (en) User interface methods and systems for providing force-sensitive input
US20160247520A1 (en) Electronic apparatus, method, and program
KR102186393B1 (ko) 입력 처리 방법 및 그 전자 장치
US10770077B2 (en) Electronic device and method
KR20170050908A (ko) 음성 인식이 가능한 전자 장치 및 방법
US20140168057A1 (en) Gyro aided tap gesture detection
KR20120080070A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
US10911825B2 (en) Apparatus and method for displaying video and comments
US11423880B2 (en) Method for updating a speech recognition model, electronic device and storage medium
JP2020042745A5 (ko)
CN106020690A (zh) 一种视频画面截取方法、装置及一种移动终端
US9886741B2 (en) Method and apparatus for displaying images in touchscreen-based devices
CN106845190B (zh) 显示控制系统及方法
CN108804897A (zh) 屏幕控制方法、装置、计算机设备及存储介质
KR101898663B1 (ko) 소리를 이용하는 휴대 기기의 확장 입력 장치 및 확장 입력 방법
US10733280B2 (en) Control of a mobile device based on fingerprint identification
WO2021036823A1 (zh) 文本处理方法、装置、设备及介质
KR102094751B1 (ko) 사용자 인터페이스 방법 및 장치
CN109542244A (zh) 一种输入方法、装置和介质
WO2017036311A1 (zh) 一种对象排序的方法与设备
WO2020170986A1 (ja) 情報処理装置、方法及びプログラム
WO2018103352A1 (zh) 一种移动终端的光标定位方法、装置及移动终端
KR102040851B1 (ko) 휴대단말기의 키 입력 방법
KR20120001946A (ko) 문자를 입력하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right