KR101327112B1 - 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법 - Google Patents

주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법 Download PDF

Info

Publication number
KR101327112B1
KR101327112B1 KR1020100081676A KR20100081676A KR101327112B1 KR 101327112 B1 KR101327112 B1 KR 101327112B1 KR 1020100081676 A KR1020100081676 A KR 1020100081676A KR 20100081676 A KR20100081676 A KR 20100081676A KR 101327112 B1 KR101327112 B1 KR 101327112B1
Authority
KR
South Korea
Prior art keywords
terminal
information
interface
sound source
unit
Prior art date
Application number
KR1020100081676A
Other languages
English (en)
Other versions
KR20120018686A (ko
Inventor
이문섭
김성진
홍석기
김태훈
금윤섭
이필우
장두신
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100081676A priority Critical patent/KR101327112B1/ko
Priority to US13/196,806 priority patent/US20120046942A1/en
Publication of KR20120018686A publication Critical patent/KR20120018686A/ko
Application granted granted Critical
Publication of KR101327112B1 publication Critical patent/KR101327112B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 단말기 주위의 소리 정보를 이용하여 단말기 주위의 상황을 판단하고, 판단된 상황 정보에 따라서 자동으로 단말기의 사용자 인터페이스를 제어하는 단말기 및 단말기 제어방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 단말기는 단말기 주변의 소리 신호를 입력받는 입력부와, 상기 입력부에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 음원분리부와, 상기 음원부리부를 통하여 미리 설정된 주파수별로 분리된 각각의 소리 신호를 분석하는 음원분석부와, 상기 음원분석부에서 분석된 결과를 기초로 상기 단말기 주변의 상황을 판단하는 상황판단부와, 상기 상황판단부에서 판단된 상기 단말기 주변의 상황에 따라 상기 단말기의 사용자 인터페이스를 제어하는 제어부를 포함한다.

Description

주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법{TERMINAL FOR PROVIDING VARIOUS USER INTERFACE BY USING SURROUNDING SOUND INFORMATION AND CONTROL METHOD THEREOF}
본 발명은 단말기 주위의 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법에 관한 것이다.
최근 정보통신기술과 제반 인프라가 급속히 발전함에 따라, 스마트폰, 노트북, PDA, 키오스크(KIOSK) 등의 단말기가 급속도로 보급되고 있다. 사람들은 이러한 단말기를 이용하여 다른 사람들과 전화 통화를 하거나, 통신 네트워크를 이용하여 다양한 정보를 획득할 수 있다.
이때, 사용자는 특정 상황에서 필요한 기능을 실행하기 위해서 단말기를 조작하여 단말기의 설정을 변경하거나, 어플리케이션을 실행시켜야만 하였다. 따라서, 사용자가 스마트폰을 매너 모드로 변경하지 않은 채, 조용한 회의실에 들어간 경우 전화가 오면 벨소리가 울리는 경우가 생길 수 있었으며, 주위 환경이 조용하여 통화 음량을 작게 설정해 놓았다가 갑자기 시끄러운 거리에 나가게 되는 경우, 다시 통화음량을 크게 변경해야만 하였다. 또한, 사용자가 강도를 만나는 등의 사고를 당한 경우에도, 사용자가 특정 버튼을 누르는 등의 조작을 해야만 경찰서 등에 긴급 통화를 할 수 있었다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로서, 단말기 주위의 소리 정보를 이용하여 단말기 주위의 상황을 판단하고, 판단된 단말기 주위의 상황에 맞게 자동으로 다양한 사용자 인터페이스를 제어하는 단말기 및 단말기 제어방법을 제시하고자 한다.
삭제
삭제
삭제
삭제
삭제
삭제
이를 위해 본 발명의 일실시예에 따른 단말기는, 단말기 주변의 소리 신호를 입력받는 입력부; 상기 입력부에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 음원분리부; 상기 음원분리부를 통하여 미리 설정된 주파수별로 분리된 각각의 소리 신호를 분석하는 음원분석부; 상기 음원분석부에서 분석된 결과를 기초로 상기 단말기 주변의 상황을 판단하는 상황판단부; 및 상기 상황판단부에서 판단된 상기 단말기 주변의 시끄러운 정도에 따라 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스 중 하나 이상을 제어하는 제어부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 단말기는, 단말기 주변의 소리 신호를 입력받는 입력부; 상기 입력부에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 음원분리부; 상기 음원분리부를 통하여 미리 설정된 주파수별로 분리된 각각의 소리 신호를 분석하는 음원분석부; 상기 음원분석부에서 분석된 결과를 기초로 상기 단말기 주변의 상황을 판단하는 상황판단부; 및 상기 상황판단부에서 판단된 상기 단말기 사용자의 이용 교통 수단 정보에 따라 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스 중 하나 이상을 제어하는 제어부를 포함한다.
이때, 상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 자가용 자동차인 경우, 상기 단말기에 문자가 도착하면 문자를 자동으로 읽어주는 TTS(Text to Speech) 모드를 실행시키거나, 상기 단말기에 전화가 온 경우 핸즈프리 모드 또는 스피커폰 모드를 실행시킬 수 있다.
또한, 상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 대중교통 수단인 경우, GPS를 작동시켜 상기 단말기 사용자의 위치를 파악하고, 파악된 상기 단말기 사용자의 위치에 대응되는 지리 관련 정보를 상기 단말기의 디스플레이부 또는 스피커 또는 진동부를 통하여 사용자에게 제공하도록 사용자 인터페이스를 제어할 수 있다.
또한, 상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 비행기인 경우, 상기 단말기의 작동 모드를 상기 단말기의 전파 송수신을 차단하는 비행모드로 전환시킬 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 일실시예에 따른 단말기의 제어방법은, 단말기 주변의 소리 신호를 입력받는 단계; 상기 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 단계; 상기 미리 설정된 주파수별로 분리된 소리 신호를 분석하여 상기 단말기 주변의 상황을 판단하는 단계; 상기 판단된 상기 단말기 주변의 상황에 따라 상기 단말기의 사용자 인터페이스를 제어하되, 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스, 상기 단말기의 어플리케이션 인터페이스 중 하나 이상을 제어하는 단계를 포함한다.
위와 같이 단말기 주위의 소리 정보를 이용하여 단말기 주위의 상황을 판단하고, 판단된 상황 정보에 따라서 자동으로 단말기의 사용자 인터페이스를 제어함으로써, 단말기 사용자에게 더 편리하고 인터랙티브(interactive)한 사용환경을 제공할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 단말기의 개략적인 구성도이다.
도 2는 도 1의 음원분리부의 상세 구성도이다.
도 3은 도 1의 음원분석부의 상세 구성도이다.
도 4a 및 도 4b는 도 3의 음성정보 분석부 및 비음성정보 분석부의 상세 구성도이다.
도 5는 본 발명의 일실시예에 따른 단말기의 제어방법을 설명하는 순서도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 단말기 및 단말기 제어방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 위 내용에 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 단말기의 개략적인 구성도이며, 도 2는 도 1의 음원분리부의 상세 구성도이며, 도 3은 도 1의 음원분석부의 상세 구성도이며, 도 4a 및 도 4b는 도 3의 음성정보 분석부 및 비음성정보 분석부의 상세 구성도이다. 이하, 도 1 내지 도 4를 참조하여 본 발명의 일실시예에 따른 단말기의 구성 및 동작에 대해 상세히 설명한다.
도 1을 참조하면, 단말기(1)는 입력부(10)와, 음원분리부(20)와, 음원분석부(30)와, 상황판단부(40)와, 상황정보저장부(50)와, 제어부(60)를 포함하여 구성된다.
단말기(1)는 앞에서 언급한 바와 같이, 스마트폰, 노트북, PDA 등의 이동 단말기 또는 키오스크(KIOSK) 등과 같은 고정 단말기일 수 있다.
입력부(10)는 단말기(1) 주위의 소리 신호를 입력받는 역할을 하며, 다수의 마이크로폰이 배열 형태로 구성된 마이크로폰 어레이로 구성될 수 있다.
음원분리부(20)는 입력부(10)에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 역할을 한다. 특히, 음원분리부(20)는 소리 신호를 음성 신호와 비음성 신호로 분리하고, 단말기(1)는 분리된 음성 신호와 비음성 신호를 각각 분석하여 단말기(1) 주변 상황을 판단하게 된다. 음원분리부(20)의 구체적인 구성 및 동작을 도 2를 참조하여 설명한다.
도 2를 참조하면 음원분리부(20)는 음성/비음성 분리부(21)와, 제1채널분리부(23)와, 제1주파수변환부(25)와, 제2채널분리부(27)와, 제2주파수변환부(29)를 포함하여 구성된다.
음성/비음성 분리부(21)는 입력부(10)로부터 입력된 소리 신호를 주파수 분리 방식을 사용하여 음성 신호와 비음성 신호로 분리하는 역할을 한다. 이때, 음성/비음성 분리부(21)는 보다 효율적인 신호의 분리를 위하여 음성 신호를 포함하는 구간을 자동으로 감지하는 VAD(Voice Activity Detection) 알고리즘을 이용할 수 있다. 이 VAD 알고리즘을 이용하여 상기 입력부(10)로부터 입력된 소리 신호에서 음성 신호를 포함하는 구간과 음성신호를 포함하지 않는 구간을 구분할 수 있다. 이렇게 음성 신호를 포함하는 구간과 음성신호를 포함하지 않는 구간을 구분함으로써, 음성 신호와 비음성 신호의 추출을 더 용이하게 할 수 있다.
제1채널분리부(23)와 제2채널분리부(27)는 각각 음성/비음성 분리부(21)에서 분리된 음성 신호 및 비음성 신호를 주파수 분리 방식을 이용하여 채널별로 분리하는 역할을 한다. 이때, 음성 신호 및 비음성 신호를 채널별로 분리한다는 것은, 음성 신호 및 비음성 신호에 포함된 다수의 음원들을 분리한다는 것을 의미한다. 즉, 음성 신호 및 비음성 신호에 포함된 다수의 음원들은 각각 다른 주파수 특성을 가지는데, 이 주파수 특성을 이용하여 각각의 음원들로 분리하는 것이다. 예를 들어, 음성 신호가 2인 이상의 사람의 음원 정보를 포함하고 있는 경우에는 각 사람의 음원별로 채널을 분리하며, 비음성 신호가 차량의 엔진소리와 전화벨 소리를 포함하고 있는 경우에는 차량의 엔진소리와 전화벨 소리를 채널별로 분리할 수 있다.
제1주파수변환부(25)와 제2주파수변환부(29)는 제1채널분리부(23) 및 제2채널분리부(27)에서 분리된 각각의 음성 신호 및 비음성 신호를 주파수 영역의 정보로 변환시키는 역할을 한다. 즉, 분리된 음성 신호 및 비음성 신호를 이용하여 단말기(1)의 주변 상황을 판단하기 위해서는 채널 별로 분리된 신호들을 분석 가능한 데이터 형식으로 변환해야 한다. 이때, 채널 별로 분리된 신호의 시간축에 따른 주파수 정보를 포함하는 주파수 스펙트로그램(Spectrogram)을 분석하여 신호의 특성을 파악하는 방법을 사용한다. 신호를 주파수 영역으로 변환시키는 다양한 알고리즘을 사용할 수 있으며, 본 발명의 일실시예에 따른 단말기(1)의 제1주파수변환부(25)와 제2주파수변환부(29)는 푸리에 변환 알고리즘 중의 하나인 STFT(Short-Time Fourier Transform) 알고리즘을 사용한다.
위와 같이 음원분리부(20)에서 음성 신호 및 비음성 신호가 채널별로 분리되어 주파수 영역의 정보로 변환되면, 음원분석부(30)는 이 정보를 기초로 각 음원 관련 정보를 분석한다. 도 3 및 도 4를 참조하여 음원분석부(30)의 구성 및 동작을 상세히 설명한다.
도 3을 참조하면, 음원분석부(30)는 음성정보분석부(32)와 비음성정보분석부(34)를 포함하여 구성된다. 음성정보분석부(32)는 음원분리부(20)에서 분리된 음성 신호를 분석하는 역할을 하며, 비음성정보분석부(34)는 음원분리부(20)에서 분리된 비음성 신호를 분석하는 역할을 한다.
도 4a를 참조하면, 음성정보분석부(32)는 제1위치정보분석부(32a)와, 제1주파수정보분석부(32b)와, 제1정보변환부(32c)를 포함하여 구성된다.
제1위치정보분석부(32a)는 음성/비음성 분리부(21)에서 분리된 음성 신호에 포함된 각각의 음원의 위치 및 방향 정보를 분석하는 역할을 한다. 구체적으로 제1위치정보분석부(32a)는 입력부(10)인 마이크로폰 어레이에 입력된 신호의 도착시간 정보와 주파수의 진폭 정보를 이용하여 각 음원의 위치 및 방향을 추정한다.
제1주파수정보분석부(32b)는 음성/비음성 분리부(21)에서 분리된 음성 신호에 포함된 각각의 음원의 주파수 정보를 분석하는 역할을 한다. 구체적으로 제1주파수정보분석부(32b)는 제1주파수변환부(25)에서 획득한 음성 신호의 주파수 스펙트로그램을 분석하여 소리의 크기, 종류, 느낌 등의 음원의 정보를 분석한다.
제1정보변환부(32c)는 제1위치정보분석부(32a) 및 제1주파수정보분석부(32b)에서 분석된 정보를 상황판단부(40)에서 이용 가능한 정보 형식으로 변환하는 역할을 한다. 즉, 제1위치정보분석부(32a) 및 제1주파수정보분석부(32b)에서 생성된 데이터는 가공되지 않은 형태로 상황판단부(40)에서 단말기(1) 주변의 상황을 판단하기 위한 데이터로 사용되기 위해서는 전처리 과정을 거쳐야 하기 때문이다.
도 4b를 참조하면, 비음성정보분석부(34)는 제2위치정보분석부(34a)와, 제2주파수정보분석부(34b)와, 제2정보변환부(34c)를 포함하여 구성된다.
도 4a에서 설명한 바와 유사하게, 제2위치정보분석부(34a)는 음성/비음성 분리부(21)에서 분리된 비음성 신호에 포함된 각각의 음원의 위치 및 방향 정보를 분석하는 역할을 하며, 제2주파수정보분석부(34b)는 음성/비음성 분리부(21)에서 분리된 비음성 신호에 포함된 각각의 음원의 주파수 정보를 분석하는 역할을 한며, 제2정보변환부(34c)는 제2위치정보분석부(34a) 및 제2주파수정보분석부(34b)에서 분석된 정보를 상황판단부(40)에서 이용 가능한 정보 형식으로 변환하는 역할을 한다
이러한 방식으로 음원분석부(30)에서 음성 신호 및 비음성 신호에 포함된 음원 정보를 분석하면, 상황판단부(40)는 이 정보를 기초로 단말기(1) 주변의 상황을 판단하게 된다. 이때, 상황판단부(40)가 단말기(1) 주변의 상황을 판단하는 방법은 다음과 같다.
도 1을 참조하면, 상황판단부(40)는 음원분석부(30)로부터 분석된 정보를 수신하며, 이 분석된 정보을 기초로 상황정보저장부(50)와 신호를 주고 받으면서 단말기(1) 주변의 상황을 판단하게 된다. 이때, 상황정보저장부(50)는 단말기(1) 주변의 소리 신호 정보에 대응되는 상황 정보가 미리 저장된 데이터베이스에 해당한다. 더욱 자세하게는, 상황정보저장부(50)는 각각의 다른 종류의 소리 정보에 대응하는 상황 정보가 저장되어 있다. 예를 들어, 상황정보저장부(50)에는 일정 데시벨(dB) 이상의 소리 정보는 주변 상황이 시끄럽다는 상황 정보와 매칭되어 저장되어 있다.
이런 방식으로, 상황판단부(40)는 음원분석부(30)에서 분석된 정보를 수신하고, 이 분석된 정보가 상황정보저장부(50)에 저장된 정보인지를 검색한다. 상황판단부(40)는 음원분석부(30)에서 분석된 정보가 상황정보저장부(50)에 저장된 정보와 일치하면, 그에 대응하는 상황 정보를 검출하고, 이 상황 정보를 제어부(60)로 전송한다. 만약, 분석된 정보가 상황정보저장부(50)에 저장되어 있지 않는 정보이면 이 분석된 정보를 새로운 데이터베이스로서 상황정보저장부(50)에 저장시킨다. 이때, 분석된 이 소리 정보에 대응 되는 상황 정보는 사용자가 지정하는 환경 설정 또는 사용자가 사용하는 환경 설정으로부터 학습하여 상황정보저장부(50)에 저장될 수 있다.
제어부(60)는 상황판단부(40)에서 판단된 단말기(1) 주변의 상황에 따라 단말기(1)의 사용자 인터페이스(User Interface : UI)를 제어하는 역할을 한다. 이때 본 명세서에서 '사용자 인터페이스'라는 용어는 상기 단말기(1)의 디스플레이부의 그래픽 사용자 인터페이스(Graphic User Interface : GUI)는 물론 단말기(1)의 벨소리 설정, 문자 알림 설정, 매너 모드 설정 등과 같은 기본적인 단말기 환경 설정 및 구동에 관한 인터페이스와, 단말기(1)에서 구동되는 어플리케이션(Application) 각각의 환경 설정 및 구동에 관한 인터페이스를 포함하는 의미이다. 이하 도 5를 참조하여 본 발명의 일실시예에 따른 단말기(1)의 제어방법을 설명하고, 제어부(60)가 사용자 인터페이스를 제어하는 것을 예를 들어 설명하기로 한다.
도 5는 본 발명의 일실시예에 따른 단말기의 제어방법을 설명하는 순서도이다.
도 5를 참조하면, 단말기(1) 작동 중에 입력부(10)는 단말기(1) 주변의 소리 신호를 수신한다(100). 입력부(10)는 수신된 단말기(1) 주변의 소리 신호를 음원분리부(20)로 전송하고, 음원분리부(20)의 음성/비음성 분리부(21)는 수신된 소리 신호를 음성 신호와 비음성 신호로 분리하며(102), 제1채널분리부(23) 및 제2채널분리부(27)는 음성 신호 및 비음성 신호의 각 음원을 주파수 분리 방식을 이용하여 채널별로 분리하고(104), 제1주파수변환부(25) 및 제2주파수변환부(29)는 채널별로 분리된 각 음원 정보를 STFT 알고리즘을 이용하여 주파수 스펙트로그램 정보를 획득한다(106).
음원분석부(30)는 이 주파수 스펙트로그램 정보을 이용하여 각 음원의 위치, 종류, 소리의 크기 등의 음원 관련 정보를 획득하고(108), 이 음원 관련 정보를 상황판단부(40)에서 이용 가능한 데이터 형식으로 가공한다(110).
이때, 제어부(60)는 음원분석부(30)에서 음원 관련 정보를 수신하고, 이 수신된 음원 관련 정보를 상황정보저장부(50)에 저장된 상황 정보와 비교하여 상황 정보가 검색되는지를 판단한다(112). 만약, 대응되는 상황정보가 검색되면, 제어부(60)는 그 상황 정보에 맞는 사용자 인터페이스를 단말기(1)를 통하여 사용자에게 제공한다(114).
대응되는 상황정보가 검색되지 않는 경우에는, 제어부(60)는 음원분석부(30)를 통하여 수신한 음원 관련 정보를 새로운 데이터베이스 정보로 상황정보저장부(50)에 저장시키고, 그 때의 사용자가 별도로 지정하는 단말기(1) 제어 환경이나, 사용자가 사용하는 단말기(1) 제어 환경을 학습하여 상황정보에 맞는 사용자 인터페이스 정보로 저장시킨다(116).
이러한 방식으로, 본 발명의 일실시예에 따른 단말기(1)는 단말기(1) 주위의 소리 정보를 이용하여 자동으로 사용자 인터페이스를 제어함으로써, 사용자에게 더 편리한 단말기(1) 사용 환경을 제공하게 된다. 이때, 단말기(1) 주위의 소리 정보를 이용하여 사용자 인터페이스를 제어하는 것은, 앞에서 언급한 사용자 인터페이스의 정의에 포함되는 것이면 어떠한 것이라도 가능하다. 단말기(1)의 디스플레이부의 배경화면 인터페이스, 조명 인터페이스, 볼륨 인터페이스, 진동 인터페이스, 어플리케이션 인터페이스 등이 그 예가 될 수 있다. 이하, 몇 가지 실시예를 들어 사용자 인터페이스를 제어하는 것을 설명한다.
(1) 주변 분위기에 따라 변화하는 사용자 인터페이스
단말기(1) 주변의 소리 정보의 각 음원의 주파수 성분들의 비율을 측정하면 주변에서 느껴지는 감정을 판단할 수 있다. 예를 들어, 단말기(1) 주변의 음원에 낮은 주파수 대역의 소리가 많으면 주변 상황이 고요하다고 판단하고, 편안한 배경화면과, 키패드 등의 조명부에 은은한 백라이트를 제공할 수 있다. 이러한 방식으로 소리 신호의 세기 정보, 주파수 정보 등을 이용하여 단말기(1) 주변의 분위기를 판단하여, 주변의 상황에 맞는 감성적인 사용자 인터페이스를 사용자에게 제공할 수 있다.
(2) 주변 상황에 따라 변화하는 휴대폰 설정
주변 상황에 따라서 단말기(1)를 주변 상황에 맞는 가장 좋은 상태로 관련 사용자 인터페이스를 제어할 수 있다. 예를 들어, 단말기(1) 사용자가 자동차 소리가 시끄러운 길을 걷고 있다면 벨소리와 통화음량을 크게 설정하는 방식으로 볼륨 인터페이스를 제어하거나, 단말기(1) 사용자가 극장이나 회의실과 같이 조용한 공간에 있는 경우에는 자동으로 매너 모드를 실행시킬 수 있다. 단말기(1)의 제어부(60)가 제어하는 휴대폰 설정과 관련한 사용자 인터페이스는 배경화면 인터페이스, 조명 인터페이스, 볼륨 인터페이스, 진동 인터페이스 등을 포함할 수 있다.
(3) 교통 수단의 소리를 인식하여 상황에 맞는 서비스 제공
또한, 단말기(1) 주변의 교통 수단의 엔진 소리 등의 세기 차이를 이용하여 자동차, 버스, 비행기 소리를 구별하여, 현재 사용자가 이용하고 있는 교통 수단을 판단하고, 각 교통 수단에 맞는 사용자 인터페이스를 제어할 수도 있다. 예를 들어 사용자가 자가용 자동차를 운전중이라고 판단되면, 문자 메시지가 도착할 경우 TTS(Text To Speech)를 구동시켜 문자를 읽어주고, 전화가 올 경우에는 핸즈프리 모드로 전환시키거나, 스피커폰 모드로 전환시킬 수 있다.
만약, 버스나 지하철, 기차 등의 대중교통을 이용하고 있다고 판단되면, GPS를 구동시켜 사용자의 위치를 파악하고, 사용자의 위치에 맞는 지리 정보를 제공할 수 있는 사용자 인터페이스를 배경화면에 자동으로 실행시켜, 도착지 알람이나 주변 관광 정보 등을 제공할 수 있다. 사용자가 비행기를 이용하고 있다고 판단하면, 비행기 이륙시 비행기내 통신 기기의 오동작을 막기 위해 자동으로 전파 송수신을 차단하는 비행모드를 실행시킬 수 있다.
(4) 긴급상황에 따른 사용자 인터페이스 제공
단말기(1)의 제어부(60)는 아동이나 부녀자 등의 사용자의 위급한 소리를 인식하여 위급 상황에 맞는 사용자 인터페이스를 제어할 수도 있다. 즉, 단말기(1) 주위의 소리 정보를 분석하여 사용자가 위급한 상황에 있는지를 판단하고, 사용자가 위급한 상황에 있다고 판단되면, 경보음 또는 경보메시지를 자동으로 발생시키고, 112 또는 119 등의 관계 기관에 자동으로 긴급 통화를 실행시킬 수 있다. 더 나아가, 골목길의 소리 패턴을 미리 저장하고 있다가, 사용자가 골목길에 있다고 판단되면, 위급상황 대기모드로 전환하여 실제 위급상황이 발생되었을때 보다 더 신속하게 대처할 수 있도록 할 수도 있다.
(5) 마트에서 가격정보 제공 서비스
단말기(1) 주위의 소리 정보로부터 세일 품목 등의 특정 품목에 대한 음성 정보가 인식되면, 사용자에게 세일 품목 등의 위치와 정보를 알려줄 수 있으며, GPS 등의 위치 정보 서비스와 연계하여 사용자 근처의 마트에서 같은 품목 중 최저가를 자동 검색하여 제공할 수 있다.
(6) 장애인을 위한 안내 서비스
또한, 단말기(1)의 사용자가 청각 장애인인 경우 주변의 소리 정보로부터 사용자에게 위협이 될 상황을 미리 감지하여 진동, 시각적 방법, 청각적 방법으로 알려줄 수 있다. 즉, 단말기(1) 주변의 소리 정보로부터 사용자 주변의 사람, 자동차, 이동 물체 등에 관한 정보를 진동, 불빛, 디스플레이부, 경보음 등의 인터페이스 방식으로 사용자에게 제공할 수 있다.
(7) 소리 패턴인식을 통한 사용자 인터페이스 제어
사용자가 지정해 놓은 특정 음원 패턴을 저장하여, 해당 패턴의 소리 정보가 인식되는 경우 사용자가 지정해 놓은 동작을 실행시킬 수 있다. 예를 들어 엄지와 중지를 이용하여 '딱' 소리를 낼 경우 음악을 재생하거나, 박수 소리를 이용하여 홀드를 해제하도록 제어할 수 있다.
(8) 박물관 등에서의 안내 서비스
박물관 등의 장소에서 전시물의 소리 정보가 인식되는 경우, 그 전시물에 해당하는 관련 정보를 제공할 수 있다. 예를 들어, 사용자가 야생 사파리를 이동 중인 경우에 사자의 울음소리가 인식되는 경우, 사자와 관련한 정보를 단말기(1)의 디스플레이부를 통하여 시각적으로 제공하거나, 스피커를 통하여 청각적으로 제공할 수 있다.
위에서 언급한 사용자 인터페이스 제어의 예는 본 발명의 일실시예에 따른 단말기(1)가 적용될 수 있는 일부분일 뿐이며, 단말기(1) 주위의 소리 정보를 이용하여 판단되는 상황에 따른 사용자 인터페이스 제어에 관한 것이면 어떠한 제어라도 무한히 확장이 가능함은 물론이다.
이와 같이, 본 발명에 따른 단말기 및 단말기 제어방법은 단말기 주위의 소리 정보를 이용하여 단말기 주위의 상황을 판단하고, 판단된 단말기 주위의 상황에 따라서 단말기의 사용자 인터페이스를 제어함으로써, 사용자의 별도의 추가적인 조작 없이도 자동으로 적절한 사용자 인터페이스를 사용자에게 제공할 수 있게 된다.
1 : 단말 10 : 입력부
20 : 음원분리부 21 : 음성/비음성 분리부
23 : 제1채널분리부 25 : 제1주파수변환부
27 : 제2채널분리부 29 : 제2주파수변환부
30 : 음원분석부 32 : 음성정보분석부
32a : 제1위치정보분석부 32b : 제1주파수정보분석부
32c : 제1정보변환부 34 : 비음성정보분석부
34a : 제2위치정보분석부 34b : 제2주파수정보분석부
34c : 제2정보변환부 40 : 상황판단부
50 : 상황정보저장부 60 : 제어부

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 단말기 주변의 소리 신호를 입력받는 입력부;
    상기 입력부에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 음원분리부;
    상기 음원분리부를 통하여 미리 설정된 주파수별로 분리된 각각의 소리 신호를 분석하는 음원분석부;
    상기 음원분석부에서 분석된 결과를 기초로 상기 단말기 주변의 상황을 판단하는 상황판단부; 및
    상기 상황판단부에서 판단된 상기 단말기 주변의 시끄러운 정도에 따라 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스 중 하나 이상을 제어하는 제어부를 포함하는 단말기.
  10. 단말기 주변의 소리 신호를 입력받는 입력부;
    상기 입력부에 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 음원분리부;
    상기 음원분리부를 통하여 미리 설정된 주파수별로 분리된 각각의 소리 신호를 분석하는 음원분석부;
    상기 음원분석부에서 분석된 결과를 기초로 상기 단말기 주변의 상황을 판단하는 상황판단부; 및
    상기 상황판단부에서 판단된 상기 단말기 사용자의 이용 교통 수단 정보에 따라 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스 중 하나 이상을 제어하는 제어부를 포함하는 단말기.
  11. 제10항에 있어서,
    상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 자가용 자동차인 경우, 상기 단말기에 문자가 도착하면 문자를 자동으로 읽어주는 TTS(Text to Speech) 모드를 실행시키거나, 상기 단말기에 전화가 온 경우 핸즈프리 모드 또는 스피커폰 모드를 실행시키는 것을 더 포함하는 단말기.
  12. 제10항에 있어서,
    상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 대중교통 수단인 경우, 상기 단말기 사용자의 위치를 파악하고, 파악된 상기 단말기 사용자의 위치에 대응되는 지리 관련 정보를 상기 단말기의 디스플레이부 또는 스피커 또는 진동부를 통하여 사용자에게 제공하도록 사용자 인터페이스를 제어하는 것을 더 포함하는 단말기.
  13. 제10항에 있어서,
    상기 제어부는 상기 단말기 사용자의 이용 교통 수단이 비행기인 경우, 상기 단말기의 작동 모드를 상기 단말기의 전파 송수신을 차단하는 비행모드로 전환시키는 것을 더 포함하는 단말기.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 단말기 주변의 소리 신호를 입력받는 단계;
    상기 입력된 소리 신호를 미리 설정된 주파수별로 분리하는 단계;
    상기 미리 설정된 주파수별로 분리된 소리 신호를 분석하여 상기 단말기 주변의 상황을 판단하는 단계;
    상기 판단된 상기 단말기 주변의 상황에 따라 상기 단말기의 사용자 인터페이스를 제어하되, 상기 단말기의 디스플레이부의 배경화면 인터페이스, 상기 단말기의 조명 인터페이스, 상기 단말기의 볼륨 인터페이스, 상기 단말기의 진동 인터페이스, 상기 단말기의 어플리케이션 인터페이스 중 하나 이상을 제어하는 단계를 포함하는 단말기의 제어방법.
KR1020100081676A 2010-08-23 2010-08-23 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법 KR101327112B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100081676A KR101327112B1 (ko) 2010-08-23 2010-08-23 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법
US13/196,806 US20120046942A1 (en) 2010-08-23 2011-08-02 Terminal to provide user interface and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100081676A KR101327112B1 (ko) 2010-08-23 2010-08-23 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20120018686A KR20120018686A (ko) 2012-03-05
KR101327112B1 true KR101327112B1 (ko) 2013-11-07

Family

ID=45594763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100081676A KR101327112B1 (ko) 2010-08-23 2010-08-23 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법

Country Status (2)

Country Link
US (1) US20120046942A1 (ko)
KR (1) KR101327112B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
KR101401694B1 (ko) * 2012-05-02 2014-07-01 한국과학기술원 모바일 기기의 진동을 이용한 물체 판별 방법 및 장치
WO2015135748A1 (en) * 2014-03-11 2015-09-17 Sony Corporation Methods and devices for situation-adequate notifications
KR101577610B1 (ko) * 2014-08-04 2015-12-29 에스케이텔레콤 주식회사 사운드 데이터 기반 교통 수단 인지를 위한 학습 방법, 그리고 이를 이용한 사운드 데이터 기반 교통 수단 인지 방법 및 장치
CN104954555B (zh) 2015-05-18 2018-10-16 百度在线网络技术（北京）有限公司 一种音量调节方法及系统
CN108401064B (zh) * 2017-02-07 2021-08-31 中兴通讯股份有限公司 一种终端工作控制方法、装置及终端
US20180270343A1 (en) * 2017-03-20 2018-09-20 Motorola Mobility Llc Enabling event-driven voice trigger phrase on an electronic device
KR102050676B1 (ko) * 2018-11-14 2019-12-03 에이미파이(주) 개인의 통신 단말기를 이용하여 지하철 운행 경로 상의 무선 서비스 특성을 승강장과 터널을 구분하여 파악하기 위한 방법과 장치
KR102102709B1 (ko) * 2019-11-22 2020-05-29 에이미파이(주) 이동체의 운행에 따른 움직임 상태를 파악함에 있어서 그 이동체로부터의 사운드를 이용하는 방법과 장치
KR20220065370A (ko) * 2020-11-13 2022-05-20 삼성전자주식회사 전자장치 및 그 제어방법
KR20220155024A (ko) * 2021-05-14 2022-11-22 삼성에스디아이 주식회사 세퍼레이터 코팅용 조성물, 이를 이용한 세퍼레이터의 제조 방법, 세퍼레이터 및 이를 채용한 리튬 전지
WO2023112668A1 (ja) * 2021-12-16 2023-06-22 日本電気株式会社 音響分析装置、音響分析方法、および記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245289A (ja) * 1993-02-17 1994-09-02 Fujitsu Ten Ltd 車載用電子装置
KR100343776B1 (ko) * 1999-12-03 2002-07-20 한국전자통신연구원 디지털 전화 단말기에서 주변소음에 따른 신호음 및/또는수신음 크기 조절장치 및 방법
KR20060060137A (ko) * 2004-11-30 2006-06-05 엘지전자 주식회사 이동통신 단말기의 착신모드 자동전환 장치 및 방법
KR20090001750A (ko) * 2007-05-16 2009-01-09 자동차부품연구원 소음 측정을 이용한 보안감시 시스템 및 그 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344647B2 (ja) * 1998-02-18 2002-11-11 富士通株式会社 マイクロホンアレイ装置
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
JP4200348B2 (ja) * 2001-07-06 2008-12-24 日本電気株式会社 移動体端末及びその着信鳴動方法
EP1378912A3 (en) * 2002-07-02 2005-10-05 Matsushita Electric Industrial Co., Ltd. Music search system
US7280852B2 (en) * 2002-09-30 2007-10-09 Matsushita Electric Industrial Co., Ltd. In-vehicle hands-free apparatus
JP4837917B2 (ja) * 2002-10-23 2011-12-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声に基づく装置制御
US7515721B2 (en) * 2004-02-09 2009-04-07 Microsoft Corporation Self-descriptive microphone array
KR100842548B1 (ko) * 2004-03-05 2008-07-01 삼성전자주식회사 긴급 호출 시스템 및 그 제어 방법
DE602007004185D1 (de) * 2007-02-02 2010-02-25 Harman Becker Automotive Sys System und Verfahren zur Sprachsteuerung
GB2450143A (en) * 2007-06-13 2008-12-17 Andreas Zachariah Mode of transport determination
KR101415026B1 (ko) * 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
KR101474438B1 (ko) * 2008-05-08 2014-12-30 엘지전자 주식회사 이동단말기의 통신서비스 차단모드 설정장치 및 방법
US8126435B2 (en) * 2008-05-30 2012-02-28 Hewlett-Packard Development Company, L.P. Techniques to manage vehicle communications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245289A (ja) * 1993-02-17 1994-09-02 Fujitsu Ten Ltd 車載用電子装置
KR100343776B1 (ko) * 1999-12-03 2002-07-20 한국전자통신연구원 디지털 전화 단말기에서 주변소음에 따른 신호음 및/또는수신음 크기 조절장치 및 방법
KR20060060137A (ko) * 2004-11-30 2006-06-05 엘지전자 주식회사 이동통신 단말기의 착신모드 자동전환 장치 및 방법
KR20090001750A (ko) * 2007-05-16 2009-01-09 자동차부품연구원 소음 측정을 이용한 보안감시 시스템 및 그 방법

Also Published As

Publication number Publication date
US20120046942A1 (en) 2012-02-23
KR20120018686A (ko) 2012-03-05

Similar Documents

Publication Publication Date Title
KR101327112B1 (ko) 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법
US11527243B1 (en) Signal processing based on audio context
KR101585793B1 (ko) 스마트 보청기
CN107580113B (zh) 提示方法、装置、存储介质及终端
KR101907406B1 (ko) 통신 서비스 운용 방법 및 시스템
US9026184B2 (en) In-vehicle handsfree apparatus
US20100250253A1 (en) Context aware, speech-controlled interface and system
CN102740227A (zh) 一种紧急呼叫方法及装置
CN103269405A (zh) 友好提示的方法及装置
CN113744733A (zh) 数字助理的语音触发器
CN113873379A (zh) 一种模式控制方法、装置及终端设备
TW201246899A (en) Handling a voice communication request
JP2009300915A (ja) 音楽再生機能を有する携帯端末
KR20230118089A (ko) 사용자 스피치 프로파일 관리
US8019391B2 (en) In-vehicle handsfree apparatus
CN110545504A (zh) 个人听力装置、外部声音处理装置及相关计算机程序产品
US10255266B2 (en) Relay apparatus, display apparatus, and communication system
CA2345434C (en) System and method for concurrent presentation of multiple audio information sources
CN111081275A (zh) 基于声音分析的终端处理方法、装置、存储介质及终端
KR101475333B1 (ko) 전화번호부 업데이트 방법 및 이를 이용한 휴대 단말기
JP2011250311A (ja) 聴覚ディスプレイ装置及び方法
JP4483450B2 (ja) 音声案内装置、音声案内方法およびナビゲーション装置
US7403895B2 (en) Control system outputting received speech with display of a predetermined effect or image corresponding to its ambient noise power spectrum
KR102000282B1 (ko) 청각 기능 보조용 대화 지원 장치
JP6948275B2 (ja) 通話装置、及び通話装置の制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 6