KR101137181B1 - 이동 장치의 다감각 음성 개선을 위한 방법 및 장치 - Google Patents

이동 장치의 다감각 음성 개선을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101137181B1
KR101137181B1 KR1020050009604A KR20050009604A KR101137181B1 KR 101137181 B1 KR101137181 B1 KR 101137181B1 KR 1020050009604 A KR1020050009604 A KR 1020050009604A KR 20050009604 A KR20050009604 A KR 20050009604A KR 101137181 B1 KR101137181 B1 KR 101137181B1
Authority
KR
South Korea
Prior art keywords
signal
replacement
detector
proximity
sensor
Prior art date
Application number
KR1020050009604A
Other languages
English (en)
Other versions
KR20050086378A (ko
Inventor
신클레어마이클제이
후앙수동데이비드
장젠요우
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050086378A publication Critical patent/KR20050086378A/ko
Application granted granted Critical
Publication of KR101137181B1 publication Critical patent/KR101137181B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N12/00—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts
    • A23N12/02—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts for washing or blanching
    • A23N12/023—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts for washing or blanching for washing potatoes, apples or similarly shaped vegetables or fruit
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0002—Washing processes, i.e. machine working principles characterised by phases or operational steps
    • A47L15/0015—Washing processes, i.e. machine working principles characterised by phases or operational steps other treatment phases, e.g. steam or sterilizing phase
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/02—Washing or rinsing machines for crockery or tableware with circulation and agitation of the cleaning liquid in the cleaning chamber containing a stationary basket
    • A47L15/13—Washing or rinsing machines for crockery or tableware with circulation and agitation of the cleaning liquid in the cleaning chamber containing a stationary basket using sonic or ultrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/605—Portable telephones adapted for handsfree use involving control of the receiver volume to provide a dual operational mode at close or far distance from the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

사용자의 손가락 또는 엄지 손가락에 의해 조작될 수 있는 숫자 입력부, 공기 전도 마이크로폰, 및 음성을 나타내는 다른 감지기 신호를 제공하는 다른 감지기를 포함하는 이동 장치가 제공된다. 임의의 실시예에서, 이동 장치는 또한 이동 장치로부터 객체까지의 간격을 나타내는 근접도 신호를 제공하는 근접도 감지기를 포함한다. 임의의 실시예에서, 공기 전도 마이크로폰으로부터의 신호, 다른 감지기 신호 및 근접도 신호는 순수 음성 값의 추정치를 형성하는데 사용된다. 다른 실시예에서, 사운드는 순수 음성 값 내의 잡음의 양에 기초하여 이동 장치의 스피커를 통해 생성된다. 다른 실시예에서, 스피커를 통해 생성된 사운드는 근접도 감지기 신호에 기초한다.
이동 장치, 근접도 신호, 순수 음성 값, 공기 전도 마이크로폰, 골 전도 감지기

Description

이동 장치의 다감각 음성 개선을 위한 방법 및 장치{METHOD AND APPARATUS FOR MULTI-SENSORY SPEECH ENHANCEMENT ON A MOBILE DEVICE}
도 1은 본 발명의 일 실시예의 사시도.
도 2는 사용자의 머리의 좌측 위치에서의 도 1의 전화기를 나타내는 도면.
도 3은 사용자의 머리의 우측 위치에서의 도 1의 전화기를 나타내는 도면.
도 4는 골 전도 마이크로폰의 블록도.
도 5는 본 발명의 다른 실시예의 사시도.
도 6은 본 발명의 일 실시예의 다른 골 전도 마이크로폰의 단면도.
도 7은 본 발명의 일 실시예의 이동 장치의 블록도.
도 8은 본 발명의 일반적인 음성 처리 시스템의 블록도.
도 9는 본 발명의 일 실시예의 잡음 감소 파라미터를 트레이닝시키는 시스템의 블록도.
도 10은 도 9의 시스템을 사용하여 잡음 감소 파라미터를 트레이닝시키는 방법의 흐름도.
도 11은 본 발명의 일 실시예의 잡음 테스트 음성 신호로부터 순수 음성 신호의 추정치를 식별하는 시스템의 블록도.
도 12는 도 11의 시스템을 사용하여 순수 음성 신호의 추정치를 식별하는 방 법의 흐름도.
도 13은 순수 음성 신호의 추정치를 식별하는 다른 시스템의 블록도.
도 14는 순수 음성 신호의 추정치를 식별하는 제2의 다른 시스템의 블록도.
도 15는 도 14의 시스템을 사용하여 순수 음성 신호의 추정치를 식별하는 방법의 흐름도.
도 16은 본 발명의 이동 장치의 다른 실시예의 사시도.
*도면의 주요부분에 대한 부호의 설명*
100: 이동 전화기
102: 키 패드
104: 디스플레이
106: 커서 제어부
108: 공기 전도 마이크로폰
110: 스피커
112, 114: 골 전도 마이크로폰
116: 근접도 감지기
본 발명은 잡음 감소에 관한 것이다. 특히, 본 발명은 이동 핸드헬드 장치에 의해 수신된 음성 신호로부터 잡음을 제거하는 것에 관한 것이다.
전화 기능을 제공하거나 음성 입력을 수신하는 이동 전화기 및 개인용 휴대 단말기 등의 이동 핸드헬드 장치가 종종 복잡한 거리, 식당, 공항, 차 등의 잡음 환경에서 불리하게 사용된다. 이들 환경에서 강한 주변 잡음은 사용자의 음성을 방해할 수 있고 사람이 말하는 것을 이해하는 것을 어렵게 만들 수 있다.
잡음의 모델에 기초하여 잡음을 제거하려고 시도하는 잡음 필터링 시스템이 개발되어 왔지만, 이들 시스템은 모든 잡음을 제거할 수 없었다. 특히, 이들 시스템 중의 다수는 배경 잡음에 다른 사람의 이야기가 포함된 잡음을 제거하는 것이 어렵다는 것이 확인되었다. 그 이유 중의 하나는, 이들 시스템이 마이크로폰에 의해 수신된 음성 신호가 이동 장치를 사용하는 사람이 아닌 다른 사람으로부터 수신되었다는 것을 판정하는 것이, 만약 가능하다 하더라도, 극히 어렵기 때문이다.
사용자의 머리 또는 귀에 걸쳐 헤드셋을 두름으로써 사용자의 머리 위치에 유지되는 전화기 헤드셋에 있어서, 헤드셋 내의 또다른 유형의 감지기에 의해 좀더 강력한 잡음 필터링을 제공하는 시스템이 개발되어 왔다. 일 예에서, 골 전도 감지기는 헤드셋의 일단에 배치되어 헤드셋의 탄력에 의해 사용자의 두개골(skull), 귀 또는 하악골(mandible)을 커버하는 피부와 접촉하도록 눌려진다. 골 전도 감지기로부터의 신호를 이용하여, 이 시스템은 사용자가 말하는 때를 더 양호하게 식별할 수 있고 그 결과 음성 신호내의 잡음을 더 잘 필터링할 수 있다.
골 전도 감지기와 사용자간의 접촉이 헤드셋의 기계적 설계에 의해 유지되는 이러한 시스템이 헤드셋에서 잘 작동한다 하여도, 이들 시스템은 헨드헬드 이동 장 치에 직접 사용될 수 없다. 그 이유는 사용자가 적절한 위치에 골 전도 감지기를 유지하기 어렵고 이들 시스템은 골 전도 감지기가 적당한 위치에 유지될 수 없다는 것을 고려하지 않았기 때문이다.
사용자의 손가락이나 엄지 손가락에 의해 조작될 수 있는 숫자 입력부, 공기 전도 마이크로폰 및 음성을 나타내는 다른 감지기 신호를 제공하는 다른 감지기를 포함하는 이동 장치가 제공된다. 임의의 실시예에서, 이동 장치는 또한 이동 장치로부터 객체까지의 간격을 나타내는 근접도 신호를 제공하는 근접도 감지기를 포함한다. 임의의 실시예에서, 공기 전도 마이크로폰으로부터의 신호, 다른 감지기 신호 및 근접도 신호가 순수 음성 값의 추정치를 형성하는데 사용된다. 다른 실시예에서, 순수 음성 값 내의 잡음의 양에 기초하여 이동 장치의 스피커를 통해 사운드가 생성된다. 다른 실시예에서, 스피커를 통해 생성된 사운드는 근접도 감지기 신호에 기초한다.
본 발명의 실시예는 공기 전도 마이크로폰 및 음성 검출 및 잡음 필터링에 사용될 수 있는 다른 감지기 둘다를 포함하는 핸드헬드 이동 장치를 제공한다. 도 1은 핸드헬드 이동 장치가 이동 전화기(100)인 일 실시예를 제공한다. 이동 전화기(100)는 키 패드(102), 디스플레이(104), 커서 제어부(106), 공기 전도 마이크로폰(108), 스피커(110), 2개의 골 전도 마이크로폰(112, 114) 및 선택적으로 근접도 감지기(116)를 포함한다.
키 패드(102)는 사용자가 숫자 및 문자를 이동 전화기에 입력하도록 한다. 다른 실시예에서, 키 패드(102)는 터치 스크린 형태의 디스플레이(104)와 결합된다. 커서 제어부(106)는 사용자가 디스플레이(104) 상의 정보를 하이라이트하여 선택하도록 하고 디스플레이(104)보다 큰 이미지 및 페이지를 스크롤하도록 한다.
도 2 및 3에 도시된 바와 같이, 이동 전화기(100)가 전화기를 통해 대화하기 위한 표준 위치에 놓이면, 스피커(110)는 사용자의 좌측 귀(200) 또는 우측 귀(300)의 부근에 위치하고 공기 전도 마이크로폰(108)은 사용자의 입(202) 부근에 위치한다. 전화기가 사용자의 좌측 귀 부근에 위치하면, 도 2에서와 같이, 골 전도 마이크로폰(114)이 사용자의 두개골 또는 귀에 접촉하고 공기 전도 마이크로폰(108)에 의해 수신된 음성 신호로부터 잡음을 제거하는데 사용될 수 있는 다른 감지기 신호를 생성한다. 전화기가 사용자의 우측 귀 부근에 위치하면, 도 3에서와 같이, 골 전도 마이크로폰(112)은 사용자의 두개골 또는 귀에 접촉하고 음성 신호로부터 잡음을 제거하는데 사용될 수 있는 다른 감지기 신호를 생성한다.
선택적 근접도 감지기(116)는 전화기가 사용자에게 얼마나 근접한지를 나타낸다. 후술하는 바와 같이, 이 정보는 순수 음성 값을 생성하는데 있어서 골 전도 마이크로폰의 기여에 가중치를 부여하는 데 사용된다. 일반적으로, 근접도 검출기에 의해 전화기가 사용자 가까이에 있는 것으로 검출하면, 전화기가 사용자로부터 약간 떨어져 있을 때보다 골 전도 마이크로폰 신호에 더 가중치가 부여된다. 이 조정은 골 전도 마이크로폰이 사용자와 접촉할 때 골 전도 마이크로폰 신호가 사용자 이야기를 더 잘 나타낸다 것을 반영한다. 골 전도 마이크로폰이 사용자로부터 떨어지면 주변 잡음에 더 민감할 수 있다. 사용자가 전화기를 항상 그들의 머리에 누르고 있지 않기 때문에 근접도 감지기가 본 발명의 실시예에 사용된다.
도 4는 본 발명의 골 전도 감지기(400)의 일 실시예를 나타낸다. 감지기(400)에서, 소프트 엘라스토머 브릿지(402)가 통상의 공기 전도 마이크로폰(406)의 다이아프램(406)에 부착된다. 이 소프트 브릿지(402)는 사용자의 피부 접촉부(408)로부터 마이크로폰(406)의 다이아프램(404)으로 진동을 직접 전도한다. 다이아프램(404)의 움직임은 마이크로폰(406) 내의 트랜스듀서(410)에 의해 전기 신호로 변환된다.
도 5는 본 발명의 핸드헬드 이동 장치의 다른 이동 전화기 실시예(500)를 제공한다. 이동 전화기(500)는 키 패드(502), 디스플레이(504), 커서 제어부(506), 공기 전도 마이크로폰(508), 스피커(510), 및 결합된 골 전도 마이크로폰 및 근접도 감지기(512)를 포함한다.
도 6의 단면도에 도시된 바와 같이, 결합된 골 전도 마이크로폰 및 근접도 감지기(512)는 사용자가 그의 귀에 전화기를 배치할 때 사용자와 접촉하도록 설계된 외부 표면(602)를 갖는 소프트 매개물 충전(유체 또는 엘라스토머) 패드(600)로 구성된다. 패드(600)는 전화기(500)내의 개구 바로 아래 또는 개구내에 배치된 스피커(510)로부터 사운드를 위한 통로를 제공하는 개구의 주변에 링을 형성한다. 패드(600)는 이 형상으로 제한되지 않으며 임의의 형상의 패드가 사용될 수 있다. 그러나, 일반적으로, 패드(600)가 스피커(510)의 좌측 및 우측에 일부를 포함하여 전화기가 사용자의 어느 쪽 귀에 배치되는지에 관계없이 패드(600)의 적어도 일부가 사용자와 접촉하도록 한다. 패드의 부분이 외부적으로 연속되거나 외부적으로 분리될 수 있지만, 전화기 내에서 서로 유동적으로 접속된다.
전자 압력 트랜스듀서(604)는 패드 내의 유체 또는 엘라스토머에 수압적으로 접속되어 패드(600) 내의 유체의 압력을 도체(606)에 대한 전기 신호로 변환시킨다. 전자 압력 트랜스듀서(640)의 예는 MEMS-기반 트랜스듀서를 포함한다. 일반적으로, 압력 트랜스듀서(604)는 고주파 응답을 가져야 한다.
도체(606)의 전기 신호는 2개의 성분, 즉, DC 성분과 AC 성분을 포함한다. DC 성분은, 패드(600)내의 스태틱 압력이 전화기가 사용자의 귀에서 약간 멀때보다 사용자의 귀에 눌려진 상태일 때 더 높기 때문에, 근접도 감지기 신호를 제공한다. 전기 신호의 AC 성분은, 사용자의 두개골, 턱, 또는 귀의 골격에서의 진동이 압력 트랜스듀서(604)에 의해 AC 전기 신호로 변환되는 패드(600)의 압력에 요동을 생성하므로, 골 전도 마이크로폰 신호를 제공한다. 일 실시예에서, 필터가 전기 신호에 적용되어 최소 주파수 이상의 AC 성분과 신호의 DC 성분이 통과하도록 한다.
골 전도 감지기의 2가지 예를 설명하였지만, 다른 형태의 골 전도 감지기가 본 발명의 범위내에 있다.
도 7은 본 발명의 일 실시예의 이동 장치(700)의 블록도이다. 이동 장치(700)는 마이크로프로세서(702), 메모리(704), 입출력(I/O) 인터페이스(706), 및 원격 컴퓨터, 통신 네트워크 또는 기타 이동 장치와 통신하는 통신 인터페이스(708)를 포함한다. 일 실시예에서, 전술한 컴포넌트는 적절한 버스(710)를 통해 서로 통신하도록 결합된다.
메모리(704)는 배터리 백업 모듈(도시하지 않음)을 갖는 랜덤 액세스 메모리 (RAM) 등의 비휘발성 전자 메모리로서 구현되어 이동 장치(700)로의 일반적인 전력이 끊겼을 때 메모리(704)에 저장된 정보가 손실되지 않도록 한다. 대안으로, 메모리(704)의 전부 또는 일부가 휘발성 또는 비휘발성 분리형 메모리일 수 있다. 메모리(704)의 일부가 바람직하게 프로그램 실행동안 어드레스 가능한 메모리로서 할당되지만, 메모리(704)의 또다른 부분이 바람직하게 디스크 드라이브상의 스토리지를 시뮬레이팅하기 위한 저장장치로 사용된다.
메모리(704)는 오퍼레이팅 시스템(712), 애플리케이션 프로그램(714) 및 오브젝트 스토어(716)를 포함한다. 동작하는 동안, 오퍼레이팅 시스템(712)은 바람직하게 메모리(704)로부터 프로세서(702)에 의해 실행된다. 바람직한 일 실시예에서, 오퍼레이팅 시스템(712)은 마이크로소프트 코포레이션으로부터 상용가능한 WINDOWS
Figure 112005006342048-pat00001
CE 브랜드 오퍼레이팅 시스템이다. 오퍼레이팅 시스템(712)은 바람직하게 이동 장치용으로 설계된 것으로, 노출된 애플리케이션 프로그래밍 인터페이스 및 메소드의 셋트를 통해 애플리케이션(714)에 의해 이용될 수 있는 데이터베이스 특징을 구현한다. 오브젝트 스토어(716) 내의 오브젝트는 적어도 부분적으로 노출된 애플리케이션 프로그래밍 인터페이스 및 메소드에 대한 호출에 응답하여 애플리케이션(714) 및 오퍼레이팅 시스템(712)에 의해 유지된다.
통신 인터페이스(708)는 이동 장치(700)가 정보를 송수신하도록 하는 수많은 장치 및 기술을 나타낸다. 이동 전화기 실시예에서, 통신 인터페이스(708)는 호출을 신청하고 수신하도록 셀룰러 전화망과 상호작용하는 셀룰러 전화망 인터페이스를 나타낸다. 통신 인터페이스(708)에 의해 표현되는 기타 장치는 예를 들면 유선 및 무선 모뎀, 위성 수신기 및 방송 튜너를 포함한다. 이동 장치(700)는 또한 데이터를 교환하기 위하여 컴퓨터에 직접 접속될 수 있다. 이 경우, 통신 인터페이스(708)는 적외선 트랜시버 또는 직렬 또는 병렬 통신 접속부일 수 있으며, 이들 모두는 스트리밍 정보를 송신할 수 있다.
본 발명을 구현하기 위하여 프로세서(702)에 의해 실행되는 컴퓨터 실행가능 명령은 메모리(704)에 저장되거나 통신 인터페이스(708)를 통해 수신될 수 있다. 이들 명령은 제한없이 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있는 컴퓨터 판독가능 매체에 포함된다.
컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 제한되는 것은 아니지만 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 다용도 디스크(DVD) 또는 기타 광디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치 또는 소망의 정보를 저장하는데 사용될 수 있고 액세스될 수 있는 임의의 기타 매체를 포함한다.
통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘 등의 변조된 데이터 신호에 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내의 정보를 인코딩하도록 설정되거나 변환된 특성을 하나 또는 그 이상을 갖는 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 등의 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함하지만, 이에 한정되지 않는다. 상술한 것들 중의의 임의의 조합이 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
입출력 인터페이스(706)는 스피커(730), 숫자 입력부(732)(하나의 버튼 또는 한 셋트의 버튼, 터치 스크린, 트랙볼, 마우스 패드, 롤러 또는 사용자의 엄지 손가락 또는 손가락에 의해 조작될 수 있는 임의의 컴포넌트의 조합), 디스플레이(734), 공기 전도 마이크로폰(736), 다른 감지기(738), 다른 감지기(740), 및 근접도 감지기(742)를 포함하는 입출력 장치들의 콜렉션에 대한 인터페이스를 나타낸다. 일 실시예에서, 다른 감지기(738, 740)는 골 전도 마이크로폰이다. 상기에서 열거된 장치들은 예시적인 것이며 모두 이동 장치(700)에 존재할 필요는 없다. 또한, 적어도 일 실시예에서, 다른 감지기 및 근접도 감지기는 근접도 감지기 신호 및 다른 감지기 신호를 제공하는 단일 감지기로서 결합된다. 이들 신호는 별도의 전도 라인에 배치되거나 단일 라인상의 신호의 컴포넌트일 수 있다. 또한, 기타 입출력 장치는 본 발명의 범위 내의 이동 장치(700)에 부착되거나 포함될 수 있다.
도 8은 본 발명의 실시예의 음성 처리 시스템의 기본 블록도를 제공한다. 도 8에서, 스피커(800)는 공기 전도 마이크로폰(804) 및 다른 감지기(806) 및 다른 감지기(807) 중의 하나 또는 둘다에 의해 검출된 음성 신호(802)를 발생시킨다. 다른 감지기의 일예로는, 사용자의 얼굴뼈 또는 두개골뼈(턱뼈 등) 위 또는 그에 인접하여 배치되어 또는 사용자에 의해 발생된 음성에 대응하는 귀, 두개골 또는 턱의 진동을 감지하는 골 전도 감지기이다. 다른 감지기의 다른 예로는, 사용자의 입을 겨냥하여 사용자의 입의 움직임을 검출하는 적외선 감지기가다. 임의의 실시예에서, 다른 감지기가 하나만 존재할 수 있다. 공기 전도 마이크로폰(804)은 오디오 공기 파동을 전기 신호로 변환하기 위해 공통으로 사용되는 마이크로폰의 종류이다.
공기 전도 마이크로폰(804)은 또한 하나 이상의 잡음원(810)에 의해 발생된 잡음을 수신한다. 다른 감지기의 유형 및 잡음의 레벨에 따라 잡음(808)은 또한 다른 감지기(806, 807)에 의해 검출될 수 있다. 그러나, 본 발명의 실시예에서, 다른 감지기(806, 807)는 일반적으로 공기 전도 마이크로폰(804)보다 주변 잡음에 덜 민감하다. 따라서, 다른 감지기(806, 807)에 의해 각각 발생된 다른 감지기 신호(812, 813)는 일반적으로 공기 전도 마이크로폰(804)에 의해 발생된 공기 전도 마이크로폰 신호(814)보다 작은 잡음을 포함한다.
2개의 골 전도 감지기 등의 2개의 다른 감지기가 있으면, 감지기 신호(812, 813)는 선택적으로 비교/선택부(815)에 공급될 수 있다. 비교/선택부(815)는 2개의 신호의 강도를 비교하여 그 출력(817)에서 더 강한 신호를 선택한다. 더 약한 신호는 또다른 처리를 위해 통과되지 않는다. 도 1-3의 이동 전화기 등의 이동 전화기 실시예에 있어서, 비교/선택부(815)는 통상 사용자의 피부와 접촉하고 있는 골 전도 감지기에 의해 발생된 신호를 선택할 것이다. 따라서, 도 2에서, 골 전도 감지기(114)로부터의 신호가 선택될 수 있고, 도 3에서, 골 전도 감지기(112)로부터의 신호가 선택될 수 있다.
다른 감지기 신호(817) 및 공기 전도 마이크로폰 신호(814)는 아래에서 상세 히 설명되는 프로세스를 통해 순수 음성 신호(818)를 추정하는 순수 신호 추정기(816)에 제공된다. 선택적으로, 순수 신호 추정기(816)는 또한 순수 신호(818)를 추정하는데 사용되는 근접도 감지기(832)로부터 근접도 신호(830)를 수신한다. 상술한 바와 같이, 근접도 감지기는 임의의 실시예에서 다른 감지기 신호와 결합될 수 있다. 순수 신호 추정치(818)는 음성 프로세스(820)에 제공된다. 순수 음성 신호(818)는 필터링된 시간 영역 신호 또는 특징 영역 벡터일 수 있다. 순수 신호 추정치(818)가 시간 영역 신호이면, 음성 프로세스(820)는 수화자, 셀룰러 전화 송신기, 음성 코딩 시스템 또는 음성 인식 시스템의 형태를 취할 수 있다. 순수 음성 신호(818)가 특징 영역 벡터이면, 음성 프로세스(820)는 일반적으로 음성 인식 시스템일 것이다.
순수 신호 추정기(816)는 또한 순수 음성 신호(818) 내에 있는 추정된 잡음을 나타내는 잡음 추정치(819)를 생성한다. 잡음 추정치(819)는 잡음 추정치(819)에 기초하여 이동 장치의 스피커를 통해 음(tone)을 발생시키는 측음 발생기(821)에 제공된다. 특히, 측음 발생기(821)는 잡음 추정치(819)가 증가함에 따라 측음의 볼륨을 증가시킨다.
측음은 사용자가 다른 감지기의 이점을 얻기 위한 최상의 위치에 이동 장치를 유지하는지를 나타내는 피드백을 사용자에게 제공한다. 예를 들어, 사용자가 그의 머리에 대해 골 전도 감지기를 누르지 않으면, 순수 신호 추정기는 빈약한 다른 감지기 신호를 수신할 것이며 빈약한 다른 감지기 신호 때문에 잡음이 있는 순수 신호(818)를 생성할 것이다. 이것은 더 큰 측음을 초래할 것이다. 사용자가 골 전도 감지기를 그의 머리에 접촉시킴으로써, 다른 감지기 신호는 개선될 것이며, 순수 신호(818) 내의 잡음을 감소시키고 측음의 볼륨을 감소시킨다. 따라서, 사용자는 측음의 피드백에 기초하여 순수 신호 내의 잡음을 가장 잘 감소시키기 위하여 전화기를 어떻게 유지해야 하는지를 신속하게 학습할 수 있다.
다른 실시예에서, 측음은 근접도 감지기(832)로부터의 근접도 감지기 신호(830)에 기초하여 발생된다. 근접도 감지기가 전화기가 사용자의 머리에 접촉하거나 거의 근접한 것을 표시할 때, 측음 볼륨은 낮을 것이다. 근접도 감지기가 전화기가 사용자의 머리로부터 떨어져 있는 것을 표시할 때, 측음은 더 커질 것이다.
본 발명은 공기 전도 마이크로폰 신호(814), 다른 감지기 신호(817), 및 선택적으로 근접도 감지기 신호(830)를 사용하여 순수 음성을 추정하는 몇개의 방법 및 시스템을 이용한다. 하나의 시스템은 스테레오 트레이닝 데이터를 사용하여 다른 감지기 신호에 대한 정정 벡터를 트레이닝시킨다. 이들 정정 벡터가 후에 다른 테스트 감지기 벡터에 추가되면, 이들 정정 벡터는 순수 신호 벡터의 추정치를 제공한다. 이 시스템의 또다른 확장 범위는 먼저 시변(time-varying) 왜곡을 트랙킹한 후 이 정보를 정정 벡터의 계산과 순수 음성의 추정으로 통합하는 것이다.
제2 시스템은 정정 벡터에 의해 발생된 순수 신호 추정치와 공기 전도 신호로부터 공기 전도 테스트 신호 내의 현재의 잡음의 추정치를 감산함으로써 형성된 추정치간의 보간을 제공한다. 제3 시스템은 다른 감지기 신호를 사용하여 음성 신호의 피치를 추정하고 그후 추정된 피치를 사용하여 순수 음성 신호에 대한 추정치를 식별한다. 이들 시스템의 각각은 이하에서 각각 설명된다.
스테레오 정정 벡터 트레이닝
도 9 및 10은 순수 음성의 추정치를 발생시키기 위하여 정정 벡터에 의존하는 본 발명의 2개의 실시예에 대한 스테레오 정정 벡터를 트레이닝시키는 블록도 및 흐름도를 제공한다.
정정 벡터를 식별하는 방법은 "순수" 공기 전도 마이크로폰 신호가 일련의 특징 벡터로 변환되는 도 10의 단계(1000)에서 시작한다. 이것을 수행하기 위하여, 도 9의 스피커(900)는 공기 전도 마이크로폰(910)으로 전달하고, 공기 전도 마이크로폰은 오디오 파동을 전기 신호로 변환한다. 전기 신호는 그후 A/D 변환기(914)에 의해 샘플링되어 일련의 디지털 값을 발생시키고, 이 일련의 디지털 값은 프레임 구성자(916)에 의해 값의 프레임으로 그룹화된다. 일 실시예에서, A/D 변환기(914)는 16㎑ 및 샘플당 16비트에서 아날로그 신호를 샘플링하여 초당 32킬로바이트의 음성 데이터를 생성하고, 프레임 구성자(916)는 25밀리초 가치의 데이터를 포함하는 새로운 프레임을 10밀리초마다 생성한다.
프레임 구성자(916)에 의해 제공된 데이터의 각각의 프레임은 특징 추출기(918)에 의해 특징 벡터로 변환된다. 일 실시예에서, 특징 추출기(918)는 켑스트럼(cepstral) 특징을 형성한다. 이러한 특징의 예는 LPC 도출 켑스트럼 및 MFCC(Mel-Frequency Cepstrum Coefficients)를 포함한다. 본 발명에 사용될 수 있는 다른 가능한 특징 추출 모듈의 예는 선형 예측 코딩(LPC), 지각 선형 예측(PLP), 청각 모델 특징 추출을 수행하는 모듈을 포함한다. 본 발명은 이들 특징 추출 모듈에 한정되는 것은 아니며 다른 모듈이 본 발명의 컨텍스트 내에 사용될 수 있음에 주의한다.
도 10의 단계(1002)에서, 다른 감지기 신호는 특징 벡터로 변환된다. 단계(1002)의 변환이 단계(1000)의 변환후에 발생하는 것으로 도시되어 있지만, 본 발명에서 변환의 임의의 부분이 단계(1000)의 전후 또는 단계(1000)의 동안 수행될 수 있다. 단계(1002)의 변환은 단계(1000)에 대하여 상술한 것과 유사한 프로세스를 통해 수행된다.
도 9의 실시예에서, 이 프로세스는 다른 감지기(902, 903)가 스피커(900)에 의한 음성의 생성과 관련된 골 진동 또는 얼굴 움직임 등의 물리적 이벤트를 검출할 때 시작된다. 다른 감지기(902, 903)가 이동 장치로부터 이격되어 있기 때문에, 다른 감지기는 음성의 생성과 관련하여 동일한 값을 검출하지 않을 것이다. 다른 감지기(902, 903)는 물리적 이벤트를 아날로그 전기 신호로 변환한다. 이들 전기 신호는 비교/선택부(904)에 제공되어, 2개의 신호 중 더 강한 신호를 식별하고 그 출력에 더 강한 신호를 제공한다. 임의의 실시예에서, 다른 감지기가 하나만 사용된다. 이 경우, 비교/선택부(904)는 존재하지 않는다.
선택된 아날로그 신호는 A/D 변환기(905)에 의해 샘플링된다. A/D 변환기(905)에 대한 샘플링 특징은 A/D 변환기(914)에 대해 상술한 것과 동일하다. A/D 변환기(905)에 의해 제공된 샘플은 프레임 구성자(916)과 유사한 방식으로 동작하는 프레임 구성자(906)에 의해 프레임으로 수집된다. 샘플의 프레임은 그후 특징 추출기(918)와 동일한 특징 추출법을 사용하는 특징 추출기(908)에 의해 특징 벡터로 변환된다.
다른 감지기 신호 및 공기 전도 신호에 대한 특징 벡터는 도 9의 잡음 감소 트레이너(920)에 제공된다. 도 10의 단계(1004)에서, 잡음 감소 트레이너(920)는 다른 감지기 신호에 대한 특징 벡터를 혼합 성분으로 그룹화한다. 이 그룹화는 최대 가능성 트레이닝 기술을 사용하여 함께 유사한 특징 벡터를 그룹화하거나 음성 신호의 일시적 섹션을 함께 나타내는 특징 벡터를 그룹화함으로써 수행된다. 당업자는 특징 벡터를 그룹화하는 다른 기술이 사용될 수 있고 상기 열거된 2가지 기술은 단지 예로서 제공된 것임을 인식할 것이다.
잡음 감소 트레이너(920)는 도 10의 단계(1008)에서 각각의 혼합 성분(s)에 대한 정정 벡터(rs)를 결정한다. 일 실시예에서, 각각의 혼합 성분에 대한 정정 벡터는 최대 가능성 기준을 사용하여 결정된다. 이 기술에서, 정정 벡터는 다음과 같이 계산된다.
Figure 112005006342048-pat00002
여기서, xt는 프레임(t)에 대한 공기 전도 벡터의 값이고, bt는 프레임(t)에 대한 다른 감지기 벡터의 값이다. 수학식 1에서,
Figure 112005006342048-pat00003
여기서, p(s)는 1/혼합 성분의 수이고, p(bt｜s)는 예측 최대화(EM) 알고리즘을 사용하여 트레이닝된 평균(μb)과 분산(Γb)을 갖는 가우시안 분포
Figure 112005006342048-pat00004
로서 모델링된다. 여기서, 각각의 반복은 다음의 단계로 구성된다.
Figure 112005006342048-pat00005
Figure 112005006342048-pat00006
Figure 112005006342048-pat00007
수학식 4는 EM 알고리즘의 E 단계이고, 이것은 미리 추정된 파라미터를 사용한다. 수학식 5 및 6은 E 단계 결과를 이용하여 파라미터를 갱신하는 M 단계이다.
알고리즘의 E 단계 및 M 단계는 모델 파라미터에 대한 적절한 값이 결정될 때까지 반복된다. 이들 파라미터는 그후 정정 벡터를 형성하기 위하여 수학식 1의 값을 구하는데 사용된다. 정정 벡터와 모델 파라미터는 잡음 감소 파라미터 저장장치(922)내에 저장된다.
정정 벡터가 단계(1008)에서 각각의 혼합 성분에 대하여 결정된 후, 본 발명의 잡음 감소 시스템을 트레이닝하는 프로세스가 완료된다. 정정 벡터가 각각의 혼합에 대하여 결정되면, 벡터는 본 발명의 잡음 감소 기술에 사용될 수 있다. 정정 벡터를 사용하는 2개의 개별 잡음 감소 기술은 후술된다.
정정 벡터와 잡음 추정치를 사용하는 잡음 벡터
정정 벡터와 잡음 추정치에 기초하여 잡음있는 음성 신호 내의 잡음을 감소시키는 시스템 및 방법은 도 11의 블록도 및 도 12의 흐름도에 각각 도시되어 있다.
단계(1200)에서, 공기 전도 마이크로폰(1104)에 의해 검출된 오디오 테스트 신호는 특징 벡터로 변환된다. 마이크로폰(1104)에 의해 수신된 오디오 테스트 신호는 스피커(1100)로부터의 음성 및 하나 이상의 잡음원(1102)으로부터의 추가 잡음을 포함한다. 마이크로폰(1104)에 의해 검출된 오디오 테스트 신호는 A/D 변환기(1106)에 제공되는 전기 신호로 변환된다.
A/D 변환기(1106)는 마이크로폰(1104)로부터의 아날로그 신호를 일련의 디지털 값으로 변환시킨다. 몇개의 실시예에서, A/D 변환기(1106)는 샘플당 16비트 및 16㎑에서 아날로그 신호를 샘플링하여 초당 32킬로바이트의 음성 데이터를 생성한다. 이들 디지털 값은 프레임 구성자(1108)에 공급되고, 이 프레임 구성자는 일 실시예에서, 그 값을 10밀리초씩 떨어져서 시작하는 25밀리초 프레임으로 그룹화한다.
프레임 구성자(1108)에 의해 생성된 데이터의 프레임은 각각의 프레임으로부 터 특징을 추출하는 특징 추출기(1110)에 공급된다. 일 실시예에서, 이 특징 추출기는, 정정 벡터를 트레이닝하는데 사용된 특징 추출기(908, 918)와는 다르다. 특히, 이 실시예에서, 특징 추출기(1110)는 켑스트럼 값 대신 파워 스펙트럼 값을 생성한다. 추출된 특징은 순수 신호 추정기(1122), 음성 검출부(1126) 및 잡음 모델 트레이너(1124)로 공급된다.
단계(1202)에서, 스피커(1100)에 의한 음성의 생성과 관련된 골 진동 또는 얼굴 움직임 등의 물리적 이벤트는 특징 벡터로 변환된다. 도 12에서는 개별 단계로 도시되어 있지만, 당업자는 단계(1200)와 동일한 시간에 이 단계의 일부가 수행될 수 있다는 것을 인식할 것이다. 단계(1202) 동안, 물리적 이벤트는 다른 감지기(1112, 1114) 중의 하나 또는 그 둘다에 의해 검출된다. 다른 감지기(1112, 1114)는 물리적 이벤트에 기초하여 아날로그 전기 신호를 발생시킨다. 아날로그 신호는 비교 및 선택부(1115)에 공급되고, 이 비교 및 선택부는 그 출력으로서 크기가 큰 신호를 선택한다. 임의의 실시예에서, 다른 감지기가 하나만이 제공된다. 이 실시예에서는, 비교 및 선택부(1115)가 필요하지 않다.
선택된 아날로그 신호는 A/D 변환기(1116)에 의해 디지털 신호로 변환되고 그 결과적인 디지털 샘플은 프레임 구성자(1118)에 의해 프레임으로 그룹화된다. 일 실시예에서, A/D 변환기(1116)와 프레임 구성자(1118)는 A/D 변환기(1106) 및 프레임 구성자(1108)와 유사한 방식으로 동작한다.
디지털 값의 프레임은 정정 벡터를 트레이닝하는데 사용되었던 것과 동일한 특징 추출 기술을 사용하는 특징 추출기(1120)에 공급된다. 상술한 바와 같이, 이 러한 특징 추출 모듈의 예는 선형 예측 코딩(LPC), LPC 도출 켑스트럼, 지각 선형 예측(PLP), 청각 모델 특징 추출 및 MFCC(Mel-Frequency Cepstrum Coefficients) 특징 추출을 수행하는 모듈을 포함한다. 그러나, 많은 실시예에서, 켑스트럼 특징을 생성하는 특징 추출 기술이 사용된다.
특징 추출 모듈은 음성 신호의 개별 프레임과 각각 관련된 특징 벡터의 스트림을 생성한다. 이 특징 벡터의 스트림은 순수 신호 추정기(1122)에 공급된다.
프레임 구성자(1118)로부터의 값의 프레임은 또한 특징 추출기(1121)에 공급되고, 이 특징 추출기(1121)는 일 실시예에서 각각의 프레임의 에너지를 추출한다. 각각의 프레임에 대한 에너지 값은 음성 검출부(1126)에 공급된다.
단계(1204)에서, 음성 검출부(1126)는 다른 감지기 신호의 에너지 특징을 사용하여 음성이 존재할 것같은 때를 결정한다. 이 정보는 잡음 모델 트레이너(1124)로 전달되고, 이 잡음 모델 트레이너(1124)는 단계(1206)에서 음성이 없는 기간 동안 잡음을 모델링하는 것을 시도한다.
일 실시예에서, 음성 검출부(1126)는 먼저 에너지의 피크를 찾기 위하여 일련의 프레임 에너지를 검색한다. 그후, 피크를 찾은 후에 밸리(valley)를 검색한다. 이 밸리의 에너지는 에너지 분리기(d)로 지칭된다. 프레임이 음성을 포함하는지를 판정하기 위하여, 에너지 분리기(d)에 대한 프레임 에너지(e)의 비(k)가 k=e/d로 결정된다. 프레임에 대한 음성 신뢰도(q)는 다음과 같이 결정된다.
Figure 112005006342048-pat00008
여기서, α는 2개의 상태 사이의 천이를 정의하고 일 실시예에서 2로 설정된다. 마지막으로, 인접하는 5개의 프레임(그 자체를 포함)의 평균 신뢰도 값은 이 프레임에 대한 최종 신뢰도 값으로서 사용된다.
일 실시예에서, 고정 임계값은, 신뢰도 값이 임계값을 초과하면 프레임이 음성을 포함하는 것으로 간주되고 신뢰도 값이 임계값을 초과하지 않으면 프레임이 비-음성을 포함하는 것으로 간주되도록, 음성이 존재하는지를 판정하는데 사용된다. 일 실시예에서, 0.1의 임계값이 사용된다.
음성 검출부(1126)에 의해 검출된 각각의 비-음성 프레임에 대하여, 단계(1206)에서 잡음 모델 트레이너(1124)는 잡음 모델(1125)을 갱신한다. 일 실시예에서, 잡음 모델(1125)은 평균(μn)과 분산(Σn)을 갖는 가우시안 모델이다. 이 모델은 비-음성의 가장 최근 프레임의 이동 윈도우에 기초한다. 윈도우 내의 평균 및 분산을 결정하는 기술은 본 기술분야에서 공지되어 있다.
파라미터 저장장치(922)와 잡음 모델(1125) 내의 정정 벡터와 모델 파라미터는 다른 감지기에 대한 특징 벡터(b)와 잡음있는 공기 전도 마이크로폰 신호에 대한 특징 벡터(Sy)와 함께 순수 신호 추정기(1122)에 제공된다. 단계(1208)에서, 순수 신호 추정기(1122)는 다른 감지기 특징 벡터, 정정 벡터 및 다른 감지기에 대한 모델 파라미터에 기초하여 순수 음성 신호에 대한 초기값을 추정한다. 특히, 순수 신호의 다른 감지기 추정치는 다음과 같이 계산된다.
Figure 112005006342048-pat00009
여기서,
Figure 112005006342048-pat00010
는 켑스트럼 영역 내의 순수 신호 추정치이고, b는 다른 감지기 특징 벡터이고, p(s｜b)는 상기 수학식 2를 사용하여 결정되고, rs은 혼합 성분(s)에 대한 정정 벡터이다. 따라서, 수학식 8의 순수 신호의 추정치는 다른 감지기 특징 벡터를 정정 벡터의 가중합에 더함으로써 형성되고, 여기서 가중은 다른 감지기 특징 벡터가 주어진 혼합 성분의 확률에 기초한다.
단계(1210)에서, 초기 다른 감지기 순수 음성 추정치는, 그 초기 순수 음성 추정치를 잡음있는 공기 전도 마이크로폰 벡터와 잡음 모델로부터 형성된 순수 음성 추정치와 결합시킴으로써 정련된다. 이것은 정련된 순수 음성 추정치(1128)를 발생시킨다. 초기 순수 신호 추정치의 켑스트럼 값과 잡음있는 공기 전도 마이크로폰의 파워 스펙트럼 특징 벡터를 결합하기 위하여 켑스트럼 값은
Figure 112005006342048-pat00011
을 사용하여 파워 스펙트럼 영역으로 변환된다.
여기서, C-1는 역이산 코사인 변환이고
Figure 112005006342048-pat00012
는 다른 감지기에 기초한 순수 신 호의 파워 스펙트럼 추정치이다.
다른 감지기로부터의 초기 순수 신호 추정치가 파워 스펙트럼 영역 내에 배치되면, 초기 순수 신호 추정치는 다음과 같이 잡음있는 공기 전도 마이크로폰 벡터와 잡음 모델과 결합될 수 있다.
Figure 112005006342048-pat00013
여기서,
Figure 112005006342048-pat00014
는 파워 스펙트럼 영역 내의 정련된 순수 신호 추정치이고, Sy는 잡음있는 공기 전도 마이크로폰 특징 벡터이고, (μn, Σn)은 이전 잡음 모델의 평균과 분산(1124 참조)이고,
Figure 112005006342048-pat00015
는 다른 감지기에 기초한 초기 순수 신호 추정치이고, Σx｜b는 다른 감지기의 측정이 주어진 순수 음성에 대한 조건적 확률 분포의 공분산 매트릭스이다. Σx｜b는 다음과 같이 계산될 수 있다. J는 수학식 9의 우측상의 함수의 야코비 행렬식(Jacobian)을 나타낸다. Σ는
Figure 112005006342048-pat00016
의 공분산 매트릭스이다. 그후,
Figure 112005006342048-pat00017
의 공분산은
Figure 112005006342048-pat00018
이다.
간략화된 실시예에서, 수학식 10은 다음의 식으로 표현된다.
Figure 112005006342048-pat00019
α(f)는 시간과 주파수 대역의 함수이다. 예를 들어, 다른 감지기가 3㎑까지의 대역폭을 가지면, α(f)는 3㎑ 미만의 주파수 대역에 대하여 0으로 선택된다. 기본적으로, 다른 감지기로부터의 초기 순수 신호 추정치는 낮은 주파수 대역에서 신뢰성이 있다.
고주파수 대역에서, 다른 감지기로부터의 초기 순수 신호 추정치는 신뢰성이 없다. 직관적으로, 잡음이 현재의 프레임의 주파수 대역에서 작으면, 이 주파수 대역에 대한 더 많은 정보가 공기 전도 마이크로폰으로부터 얻어지도록 큰 α(f)가 선택된다. 그렇지 않으면, 작은 α(f)를 선택함으로써 다른 감지기로부터의 더 많은 정보가 사용된다. 일 실시예에서, 다른 감지기로부터의 초기 순수 신호 추정치의 에너지는 각각의 주파수 대역에 대한 잡음 레벨을 결정하는데 사용된다. E(f)는 주파수 대역(f)에 대한 에너지이다. f의 함수로서, M=MaxfE(f)?α(f)는
Figure 112005006342048-pat00020
과 같이 정의된다.
여기서, 선형 보간은 3K로부터 4K로의 천이에 사용되어 α(f)의 평탄도를 확 보한다.
일 실시예에서, 사용자의 머리에 대한 이동 장치의 근접도는 α(f)의 결정에 포함된다. 특히, 근접도 감지기(832)가 최대 간격 값(D)와 현재 간격 값(d)를 생성하면, 수학식 13은 다음과 같이 변경된다.
Figure 112005006342048-pat00021
여기서, β는 0과 1 사이이고, 공기 전도 마이크로폰에 대한 잡음 모델 또는 다른 감지기에 대한 정정 벡터가 순수 신호의 최적 추정치를 제공할 것인지에 대한 최상의 표시를 제공하는 것으로 믿어지는 인자, 에너지 또는 근접도에 기초하여 선택된다.
β가 제로로 설정되면, α(f)는 더이상 주파수에 의존하지 않고 단순히 다음과 같이 된다.
Figure 112005006342048-pat00022
파워 스펙트럼 영역 내의 정련된 순수 신호 추정치는 잡음있는 공기 전도 마이크로폰 신호를 필터링하기 위한 와이너 필터(Weiner filter)를 구성하는데 사용될 수 있다. 특히, 와이너 필터(H)는 다음과 같이 설정된다.
Figure 112005006342048-pat00023
이 필터는 시간 영역의 잡음있는 공기 전도 마이크로폰 신호에 대해 적용되어 잡음 감소 시간 영역 신호 또는 순수 시간 영역 신호를 생성한다. 잡음 감소 신호가 수화자에 제공되거나 음성 인식기에 인가된다.
수학식 12는 2개의 인자의 가중합인 정련된 순수 신호 추정치를 제공하고, 그 2개의 인자중 하나는 다른 감지기로부터의 순수 신호 추정치이다. 이 가중합은 추가의 다른 감지기에 대한 추가의 인자를 포함하도록 연장될 수 있다. 따라서, 하나 이상의 다른 감지기는 순수 신호의 독립 추정치를 발생시키는데 사용될 수 있다. 이들 다수의 추정치는 수학식 12를 사용하여 결합될 수 있다.
일 실시예에서, 정련된 순수 신호 추정치 내의 잡음이 또한 추정된다. 일 실시예에서, 이 잡음은 다음과 같이 결정된 공분산을 갖는 제로 평균 가우시안으로서 처리된다.
Figure 112005006342048-pat00024
여기서, Σn는 공기 전도 마이크로폰의 잡음의 분산이고, Σx｜b는 다른 감지기로부터의 추정치 내의 잡음의 분산이다. 특히, 다른 감지기가 피부 표면과 양호하게 접촉하지 않으면 Σx｜b는 크다. 접촉이 얼마나 양호한지는 추가적인 근접도 감지기를 사용하거나 다른 감지기를 분석함으로써 측정될 수 있다. 후자에 있어 서, 양호한 접촉인 경우 다른 감지기가 고주파 응답(4㎑ 이상)을 거의 생성하지 않으면, 고주파 에너지에 대한 저주파 에너지(3㎑ 미만)의 비로 접촉 품질을 측정한다. 이 비가 높을수록 접촉은 양호해진다.
임의의 실시예에서, 순수 신호 추정치 내의 잡음은 도 6과 관련하여 상술한 바와 같이 측음을 발생시키는데 사용된다. 정련된 순수 신호 추정치 내의 잡음이 증가함에 따라, 측음의 볼륨은 증가하여 사용자가 다른 감지기를 더 나은 위치로 배치하도록 함으로써 개선(enhancement) 프로세스가 개선되도록 한다. 예를 들어, 측음은 사용자가 그의 머리로 골 전도 감지기를 누르도록 하여 개선 프로세스가 개선되도록 한다.
잡음 추정치없는 정정 벡터를 사용하는 잡음 감소
도 13은 본 발명의 순수 음성 값을 추정하는 다른 시스템의 블록도를 제공한다. 도 13의 시스템은 순수 음성값의 추정치가 공기 전도 마이크로폰 또는 잡음 모델을 필요로 하지 않고 형성되는 것을 제외하고 도 11의 시스템과 유사하다.
도 13에서, 음성을 생성하는 스피커와 관련된 물리적 이벤트는, 도 11의 다른 감지기(1114), A/D 변환기(1116), 프레임 구성자(1117) 및 특징 추출기(1118)에 대하여 상술한 것과 유사한 방식으로, 다른 감지기(1302), A/D 변환기(1304), 프레임 구성자(1306) 및 특징 추출기(1308)에 의해 특징 벡터로 변환된다. 도 13에는 다른 감지기가 하나만 도시되어 있지만, 도 11에 대하여 상술된 바와 같이 비교 및 선택부를 부가하면서 도 11에서와 같이 추가의 다른 감지기가 사용될 수 있다.
특징 추출기(1308)와 잡음 감소 파라미터 저장장치(922)로부터의 특징 벡터 들은 순수 신호 추정기(1310)에 공급되고, 순수 신호 추정기는 상기 수학식 8 및 9를 사용하여 순수 신호 값(1312)(
Figure 112005006342048-pat00025
)를 결정한다.
파워 스펙트럼 영역의 순수 신호 추정치(
Figure 112005006342048-pat00026
)는 잡음있는 공기 전도 마이크로폰 신호를 필터링하기 위한 와이너 필터를 구성하는데 사용될 수 있다. 특히, 와이너 필터(H)는 다음과 같이 설정된다.
Figure 112005006342048-pat00027
이 필터는 시간 영역의 잡음있는 공기 전도 마이크로폰 신호에 대하여 적용되어 잡음 감소 신호 또는 순수 신호를 생성할 수 있다. 잡음 감소 신호는 수화자에게 제공되거나 음성 인식기에 인가될 수 있다.
대안으로, 수학식 8에서 계산된 켑스트럼 영역(
Figure 112005006342048-pat00028
)의 순수 신호 추정치는 음성 인식 시스템에 직접 인가될 수 있다.
피치 트랙킹을 사용한 잡음 감소
순수 음성 신호의 추정치를 발생시키는 다른 기술이 도 14의 블록도 및 도 15의 흐름도에 도시되어 있다. 특히, 도 14 및 도 15의 실시예는 다른 감지기를 사용하여 음성 신호에 대한 피치를 식별함으로써 순수 음성 추정치를 결정한 후 피치를 사용하여 잡음있는 공기 전도 마이크로폰 신호를 고조파 성분 및 랜덤 성분으로 분해한다. 따라서, 잡음있는 신호는 다음과 같이 표현된다.
Figure 112005006342048-pat00029
여기서, y는 잡음있는 신호이고, yh는 고조파 성분이고, yr는 랜덤 성분이다. 고조파 성분 및 랜덤 성분의 가중합은 잡음 감소 음성 신호를 나타내는 잡음 감소 특징 벡터를 형성하는데 사용된다.
일 실시예에서, 고조파 성분은 다음과 같이 되도록 고조파 관련 사인곡선의 합으로서 모델링된다.
Figure 112005006342048-pat00030
여기서, ω0는 기본 또는 피치 주파수이고 K는 신호 내의 고조파의 총수이다.
따라서, 고조파 성분을 식별하기 위하여, 피치 주파수의 추정치와 진폭 파라미터{a1a2…akb1b2…bk}가 결정되어야 한다.
단계(1500)에서, 잡음있는 음성 신호가 수집되고 디지털 샘플로 변환된다. 이것을 수행하기 위하여, 공기 전도 마이크로폰(1404)은 스피커(1400) 및 하나 이상의 추가 잡음원(1402)으로부터의 오디오 파동을 전기 신호로 변환시킨다. 그후, 전기 신호는 A/D 변환기(1406)에 의해 샘플링되어 일련의 디지털 값을 발생시킨다. 일 실시예에서, A/D 변환기(1406)는 16㎑ 및 샘플당 16비트에서 아날로그 신호를 샘플링하여 초당 32킬로바이트의 음성 데이터를 생성한다. 단계(1502)에서, 디지털 샘플은 프레임 구성자(1408)에 의해 프레임으로 그룹화된다. 일 실시예에서, 프레임 구성자(1408)는 25밀리초 가치의 데이터를 포함하는 새로운 프레임을 10밀리초마다 생성한다.
단계(1504)에서, 음성의 생성과 관련된 물리적 이벤트는 다른 감지기(1444)에 의해 검출된다. 이 실시예에서, 골 전도 감지기 등의 고조파 성분을 검출할 수 있는 다른 감지기는 다른 감지기(1444)로서 사용되기에 가장 적합하다. 단계(1504)가 단계(1500)와 별개로 도시되어 있지만, 당업자는 이들 단계가 동시에 수행될 수 있다는 것을 인식할 것이다. 또한, 다른 감지기가 하나만 도 14에 도시되어 있지만, 도 11에 대하여 상술한 바와 같이 비교 및 선택부를 부가하면서 도 11에서와 같이 추가의 다른 감지기가 사용될 수 있다.
다른 감지기(1444)에 의해 발생된 아날로그 신호는 A/D 변환기(1446)에 의해 디지털 샘플로 변환된다. 그후, 디지털 샘플은 단계(1506)에서 프레임 구성자(1448)에 의해 프레임으로 그룹화된다.
단계(1508)에서, 다른 감지기 신호의 프레임이 피치 트랙커(1450)에 의해 사용되어 음성의 피치 또는 기본 주파수를 식별한다.
피치 주파수에 대한 추정치는 임의의 수의 이용가능한 피치 트랙킹 시스템을 사용하여 결정될 수 있다. 이 시스템의 다수의 시스템에서, 후보 피치가 다른 감지기 신호의 세그먼트의 중심들간의 가능한 공간을 식별하는데 사용된다. 후보 피치마다, 음성의 연속 세그먼트 사이의 상관이 결정된다. 일반적으로, 최상의 상관 을 제공하는 후보 피치는 프레임의 피치 주파수일 것이다. 임의의 시스템에서, 추가의 정보가 신호의 에너지 및/또는 기대 피치 트랙 등의 피치 선택을 정련하는데 사용된다.
피치 트랙커(1450)로부터의 피치의 추정치가 주어지면, 단계(1510)에서 공기 전도 신호 벡터는 고조파 성분 및 랜덤 성분으로 분해될 수 있다. 그렇게 하기 위하여 수학식 19는 다음과 같이 다시 기재된다.
Figure 112005006342048-pat00031
여기서, y는 잡음있는 음성 신호의 N 샘플의 벡터이고, A는
Figure 112005006342048-pat00032
에 의해 주어진 N×2K 매트릭스이고,
여기서, 엘리먼트
Figure 112005006342048-pat00033
이며,
b는
Figure 112005006342048-pat00034
에 의해 주어진 2K×1 벡터이다.
그후, 진폭 계수에 대한 최소 제곱법은 다음과 같다.
Figure 112005006342048-pat00035
Figure 112005006342048-pat00036
을 사용하여, 잡음있는 음성 신호의 고조파 성분에 대한 추정치는 다음과 같이 결정될 수 있다.
Figure 112005006342048-pat00037
랜덤 성분의 추정치는 다음과 같이 계산된다.
Figure 112005006342048-pat00038
따라서, 상기 수학식 20-26을 사용하여, 고조파 분해부(1410)는 고조파 성분 샘플의 벡터(1412; yh) 및 랜덤 성분 샘플의 벡터(1414; yr)를 생성할 수 있다.
프레임의 샘플이 고조파 및 랜덤 성분으로 분해된 후, 고조파 성분에 대한 스케일링 파라미터 또는 가중치가 단계(1512)에서 결정된다. 이 스케일링 파라미터는 후술하는 바와 같이 잡음 감소 음성 신호의 계산의 일부로서 사용된다. 일 실시예에서, 스케일링 파라미터는 다음과 같이 계산된다.
Figure 112005006342048-pat00039
여기서, αh는 스케일링 파라미터이고, yh(i)는 고조파 성분 샘플의 벡터(yh )내의 i번째 샘플이고, y(i)는 이 프레임에 대한 잡음있는 음성 신호의 i번째 샘플이다. 수학식 27에서, 분자는 고조파 성분의 각각의 샘플의 에너지의 합이고 분모는 잡음있는 음성 신호의 각각의 샘플의 에너지의 합이다. 따라서, 스케일링 파라미터는 프레임의 총 에너지에 대한 프레임의 고조파 에너지의 비이다.
다른 실시예에서, 스케일링 파라미터는 확률적 유성-무성 검출부를 사용하여 설정된다. 이러한 유성-무성 검출부는 무성보다는 프레임동안 유성 코드(vocal cord)가 진동하는 것을 의미하는 음성의 특정 프레임이 유성인 확률을 제공한다. 프레임이 음성의 유성 영역에 의한 것일 확률은 스케일링 파라미터로서 직접 사용될 수 있다.
스케일링 파라미터가 결정된 후 또는 결정되고 있는 동안, 고조파 성분 샘플의 벡터와 랜덤 성분 샘플의 벡터에 대한 Mel 스펙트럼이 단계(1514)에서 결정된다. 이것은 이산 푸리에 변환(DFT)(1418)을 통해 샘플의 각 벡터를 전달하여 고조파 성분 주파수 값(1422)의 벡터 및 랜덤 성분 주파수 값(1420)의 벡터를 생성한다. 주파수 값의 벡터에 의해 표현된 파워 스펙트럼은 그후 Mel 스케일을 따라 인가된 일련의 3중 가중 함수를 사용하여 Mel 가중부(1424)에 의해 평활화된다. 이 것은 고조파 성분 Mel 스펙트럼 벡터(1428; Yh) 및 랜덤 성분 Mel 스펙트럼 벡터(1426; Yr)를 발생시킨다.
단계(1516)에서, 고조파 성분 및 랜덤 성분에 대한 Mel 스펙트럼은 가중합으로서 결합되어 잡음 감소 Mel 스펙트럼의 추정치를 형성한다. 이 단계는 다음의 수학식에서 상기에서 결정된 스케일링 인자를 사용하여 가중 합 계산기(1430)에 의해 수행된다.
Figure 112005006342048-pat00040
여기서,
Figure 112005006342048-pat00041
는 잡음 감소 Mel 스펙트럼의 추정치이고, Yh(t)는 고조파 성분 Mel 스펙트럼이고, Yr(t)는 랜덤 성분 Mel 스펙트럼이고, αh(t)는 상기에서 결정된 스케일링 인자이고, αr는 일실시예에서 .1과 동일하게 설정된 랜덤 성분에 대한 고정 스케일링 인자이고, 시간 인덱스(t)는 랜덤 성분에 대한 스케일링 인자가 고정된 상태로 있는 동안 프레임마다 결정된다. 다른 실시예에서, 랜덤 성분에 대한 스케일링 인자는 프레임마다 결정될 수 있다.
잡음 감소 Mel 스펙트럼이 단계(1516)에서 계산된 후, Mel 스펙트럼의 로그(1432)가 결정되고 그후 단계(1518)에서 이산 코사인 변환(1434)에 적용된다. 이것은 잡음 감소 음성 신호를 표현하는 Mel 주파수 켑스트럼 계수(MFCC) 특징 벡터(1436)를 생성한다.
잡음있는 신호의 프레임마다 개별 잡음 감소 MFCC 특징 벡터가 생성된다. 이 특징 벡터는 음성 개선 및 음성 인식을 포함하여 임의의 원하는 목적을 위하여 사용될 수 있다. 음성 개선에 있어서, MFCC 특징 벡터는 파워 스펙트럼 도메인으로 변환될 수 있고 잡음있는 공기 전도 신호와 함께 사용되어 와이너 필터를 형성할 수 있다.
본 발명은 다른 감지기로서 골 전도 감지기를 사용하여 설명하였지만, 그외의 다른 감지기가 사용될 수 있다. 예를 들어, 도 16에서, 본 발명의 이동 장치는 사용자의 얼굴, 특히, 입부분을 겨냥하는 적외선 감지기를 사용하여 음성에 대응하는 사용자의 얼굴 움직임의 변화를 나타내는 신호를 발생시킨다. 적외선 감지기(1600)에 의해 발생된 신호는 상술한 기술에서 다른 감지기 신호로서 사용될 수 있다.
본 발명은 특정 실시예를 참조하여 설명하였지만, 당업자는 본 발명의 사상과 범위를 벗어나지 않는 한도 내에서 그 형태 및 상세에 있어서 변경이 가능하다.
상술한 바와 같이, 본 발명에 따르면, 사용자의 손가락이나 엄지 손가락에 의해 조작될 수 있는 숫자 입력부, 공기 전도 마이크로폰 및 음성을 나타내는 다른 감지기 신호를 제공하는 다른 감지기를 포함하는 이동 장치가 제공된다.

Claims (33)

  1. 이동 핸드헬드 장치로서,
    음향파를, 음성 프레임을 나타내는 전기적인 마이크로폰 신호로 변환시키는 공기 전도 마이크로폰;
    사용자와, 적어도 하나의 대체 감지기(alternative sensor)에 연결된 적어도 2개의 접촉점 중 적어도 하나의 접촉점 사이의 접촉에 기초하여, 음성 프레임을 나타내는 전기적인 대체 감지기 신호를 제공하는, 공기 전도 마이크로폰 외의 적어도 하나의 대체 감지기 - 상기 2개의 접촉점은 상기 핸드헬드 장치 내의 스피커의 대향측 상에 제공되며, 상기 적어도 하나의 대체 감지기는 제2 대체 감지기 신호를 제공하는 제2 대체 감지기를 포함하며, 상기 대체 감지기 및 상기 제2 대체 감지기는 골 전도 감지기(bone conduction sensor)들을 포함함 - ; 및
    상기 마이크로폰 신호 및 상기 대체 감지기 신호를 이용하여 음성 프레임에 대한 순수(clean) 음성 값을 추정하는 프로세서
    를 포함하는 이동 핸드헬드 장치.
  2. 제1항에 있어서,
    상기 이동 헨드헬드 장치는 좌측 및 상기 좌측에 대향하는 우측을 가지며, 상기 대체 감지기는 상기 좌측 부근에 위치하고 상기 제2 대체 감지기는 상기 우측 부근에 위치하는 이동 핸드헬드 장치.
  3. 제1항에 있어서,
    상기 대체 감지기 신호와 상기 제2 대체 감지기 신호 중 하나를 선택하는 선택부를 더 포함하는 이동 핸드헬드 장치.
  4. 제3항에 있어서,
    상기 선택부는, 상기 대체 감지기 신호 및 상기 제2 대체 감지기 신호의 크기에 기초하여, 상기 대체 감지기 신호 및 상기 제2 대체 감지기 신호 중 하나를 선택하는 이동 핸드헬드 장치.
  5. 제1항에 있어서,
    상기 스피커는, 순수 음성 값 내의 잡음의 양에 기초하여 사운드를 발생시키는 이동 핸드헬드 장치.
  6. 제1항에 있어서,
    상기 이동 핸드헬드 장치와 객체 사이의 거리를 나타내는 근접도(proximity) 신호를 생성하는 근접도 감지기를 더 포함하는 이동 핸드헬드 장치.
  7. 제6항에 있어서,
    상기 프로세서는 상기 마이크로폰 신호, 상기 대체 감지기 신호 및 상기 근접도 신호에 기초하여 상기 순수 음성 값을 결정하는 이동 핸드헬드 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 마이크로폰 신호에 기초하여 상기 순수 음성 값에 대한 마이크로폰의 기여(contribution)를 결정하는 단계,
    상기 대체 감지기 신호에 기초하여 상기 순수 음성 값에 대한 대체 감지기의 기여를 결정하는 단계, 및
    상기 근접도 신호에 기초하여 상기 마이크로폰의 기여 및 상기 대체 감지기의 기여에 가중치를 부여하는 단계
    를 포함하는 프로세스를 통해 상기 순수 음성 값을 결정하는 이동 핸드헬드 장치.
  9. 제6항에 있어서,
    상기 스피커는, 상기 근접도 신호에 기초하여 사운드를 발생시키는 이동 핸드헬드 장치.
  10. 이동 핸드헬드 장치로서,
    음향파를, 음성 프레임을 나타내는 전기적인 마이크로폰 신호로 변환시키는 공기 전도 마이크로폰;
    사용자와, 적어도 하나의 대체 감지기에 연결된 적어도 2개의 접촉점 중 적어도 하나의 접촉점 사이의 접촉에 기초하여, 음성 프레임을 나타내는 전기적인 대체 감지기 신호를 제공하는, 공기 전도 마이크로폰 외의 적어도 하나의 대체 감지기 - 상기 2개의 접촉점은 상기 핸드헬드 장치 내의 스피커의 대향측 상에 제공되며, 상기 적어도 하나의 대체 감지기는 매개물이 충전된 패드에 수압적으로(hydraulically) 연결된 압력 트랜스듀서를 포함하며, 상기 이동 헨드헬드 장치는 좌측 및 상기 좌측에 대향하는 우측을 가지며, 상기 패드는 상기 좌측 상의 제1 부분 및 상기 우측 상의 제2 부분을 가짐 - ; 및
    상기 마이크로폰 신호 및 상기 대체 감지기 신호를 이용하여 음성 프레임에 대한 순수 음성 값을 추정하는 프로세서
    를 포함하는 이동 핸드헬드 장치.
  11. 제10항에 있어서,
    상기 적어도 하나의 대체 감지기는 근접도 신호를 더 제공하는 이동 핸드헬드 장치.
  12. 제11항에 있어서,
    상기 근접도 신호는 상기 압력 트랜스듀서에 의해 생성된 전기 신호의 DC 성분을 포함하는 이동 핸드헬드 장치.
  13. 제12항에 있어서,
    상기 대체 감지기 신호는 상기 압력 트랜스듀서에 의해 생성된 상기 전기 신호의 AC 성분을 포함하는 이동 핸드헬드 장치.
  14. 이동 장치로서,
    음향파를 전기적인 마이크로폰 신호로 변환시키는 공기 전도 마이크로폰;
    음성을 나타내는 전기적인 대체 감지기 신호를 제공하는 대체 감지기; 및
    상기 이동 장치로부터 객체까지의 거리를 나타내는 전기적인 근접도 신호를 상기 마이크로폰 신호와 분리하여 제공하는, 상기 공기 전도 마이크로폰과 분리된 근접도 감지기; 및
    상기 마이크로폰 신호, 상기 대체 감지기 신호 및 상기 근접도 신호를 이용하여 상기 마이크로폰 신호로부터 잡음을 제거함으로써 개선된 순수 음성 신호를 생성하는 순수 신호 추정기
    를 포함하는 이동 장치.
  15. 제14항에 있어서,
    상기 개선된 순수 음성 신호 내의 잡음 레벨의 추정치에 기초하여 사운드를 생성하는 스피커를 더 포함하는 이동 장치.
  16. 제14항에 있어서,
    상기 이동 장치는, 상기 근접도 신호를 이용하여 상기 개선된 순수 음성 신호를 생성하여, 상기 대체 감지기 신호로부터 형성되는 상기 개선된 순수 음성 신호에 대한 기여에 가중치를 부여하는 이동 장치.
  17. 제16항에 있어서,
    상기 기여에 부여되는 가중치는, 상기 이동 장치가 상기 객체로부터 멀어짐에 따라 작아지는 이동 장치.
  18. 제14항에 있어서,
    상기 근접도 신호에 기초하여 사운드를 생성하는 스피커를 더 포함하는 이동 장치.
  19. 제18항에 있어서,
    상기 사운드의 볼륨은, 상기 근접도 신호가 상기 이동 장치와 상기 객체 사이의 거리가 증가하는 것을 나타냄에 따라 증가하는 이동 장치.
  20. 제14항에 있어서,
    상기 대체 감지기 신호 및 상기 근접도 감지기 신호는 단일 감지기에 의해 생성되는 이동 장치.
  21. 제20항에 있어서,
    상기 단일 감지기는 전기 신호를 제공하는 압력 트랜스듀서를 포함하고, 상기 전기 신호는 상기 근접도 신호를 나타내는 DC 성분과 상기 대체 감지기 신호를 나타내는 AC 성분을 갖는 이동 장치.
  22. 이동 장치에 사용되는 방법으로서,
    공기 전도 마이크로폰 신호를 수신하는 단계;
    음성을 나타내는 대체 감지기 신호를 수신하는 단계;
    상기 이동 장치와 객체 사이의 거리를 나타내는 근접도 감지기 신호를 수신하는 단계;
    상기 근접도 감지기 신호에 기초하여 상기 대체 감지기 신호로부터 도출되는 개선된 순수 음성 값에 대한 기여에 가중치를 부여함으로써, 상기 공기 전도 마이크로폰 신호, 상기 대체 감지기 신호 및 상기 근접도 감지기 신호에 기초한 개선된 순수 음성 값을 추정하는 단계;
    상기 개선된 순수 음성 값 내의 잡음을 추정하는 단계; 및
    상기 잡음의 추정치를 이용하여 상기 이동 장치 내의 스피커를 통해 사운드를 발생시키는 단계
    를 포함하는 방법.
  23. 제22항에 있어서,
    상기 사운드의 볼륨은 상기 잡음의 추정치가 증가함에 따라 증가하는 방법.
  24. 제22항에 있어서,
    상기 대체 감지기 신호로부터 도출된 기여에 부여되는 가중치는, 상기 이동 장치가 상기 객체에 가까워짐에 따라 커지는 방법.
  25. 제24항에 있어서,
    상기 객체는 사용자의 머리인 방법.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020050009604A 2004-02-24 2005-02-02 이동 장치의 다감각 음성 개선을 위한 방법 및 장치 KR101137181B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/785,768 2004-02-24
US10/785,768 US7499686B2 (en) 2004-02-24 2004-02-24 Method and apparatus for multi-sensory speech enhancement on a mobile device

Publications (2)

Publication Number Publication Date
KR20050086378A KR20050086378A (ko) 2005-08-30
KR101137181B1 true KR101137181B1 (ko) 2012-04-19

Family

ID=34750476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050009604A KR101137181B1 (ko) 2004-02-24 2005-02-02 이동 장치의 다감각 음성 개선을 위한 방법 및 장치

Country Status (18)

Country Link
US (1) US7499686B2 (ko)
EP (1) EP1569422B1 (ko)
JP (1) JP4796309B2 (ko)
KR (1) KR101137181B1 (ko)
CN (2) CN100583909C (ko)
AU (1) AU2005200249A1 (ko)
BR (1) BRPI0500587A (ko)
CA (1) CA2494637C (ko)
EG (1) EG23701A (ko)
ES (1) ES2775799T3 (ko)
IL (1) IL166473A (ko)
MX (1) MXPA05002133A (ko)
NO (1) NO332636B1 (ko)
NZ (1) NZ537900A (ko)
RU (1) RU2376722C2 (ko)
SG (1) SG114686A1 (ko)
TW (1) TW200601798A (ko)
ZA (1) ZA200500691B (ko)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US7383181B2 (en) 2003-07-29 2008-06-03 Microsoft Corporation Multi-sensory speech detection system
US7447630B2 (en) 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7499686B2 (en) 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US8095073B2 (en) * 2004-06-22 2012-01-10 Sony Ericsson Mobile Communications Ab Method and apparatus for improved mobile station and hearing aid compatibility
US20060020454A1 (en) * 2004-07-21 2006-01-26 Phonak Ag Method and system for noise suppression in inductive receivers
US7574008B2 (en) 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7914468B2 (en) * 2004-09-22 2011-03-29 Svip 4 Llc Systems and methods for monitoring and modifying behavior
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US7983720B2 (en) * 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
US20070116300A1 (en) * 2004-12-22 2007-05-24 Broadcom Corporation Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US20060135085A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone with uni-directional and omni-directional microphones
US20060133621A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone having multiple microphones
US7483727B2 (en) * 2005-04-04 2009-01-27 Research In Motion Limited Mobile wireless communications device having improved antenna impedance match and antenna gain from RF energy
US7346504B2 (en) 2005-06-20 2008-03-18 Microsoft Corporation Multi-sensory speech enhancement using a clean speech prior
US7680656B2 (en) * 2005-06-28 2010-03-16 Microsoft Corporation Multi-sensory speech enhancement using a speech-state model
US7406303B2 (en) 2005-07-05 2008-07-29 Microsoft Corporation Multi-sensory speech enhancement using synthesized sensor signal
PL211141B1 (pl) * 2005-08-03 2012-04-30 Piotr Kleczkowski Sposób miksowania sygnałów dźwiękowych
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
US7930178B2 (en) * 2005-12-23 2011-04-19 Microsoft Corporation Speech modeling and enhancement based on magnitude-normalized spectra
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8194880B2 (en) * 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
FR2899372B1 (fr) * 2006-04-03 2008-07-18 Adeunis Rf Sa Systeme de communication audio sans fil
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
EP2038885A1 (en) * 2006-05-31 2009-03-25 Agere Systems Inc. Noise reduction by mobile communication devices in non-call situations
US8364492B2 (en) * 2006-07-13 2013-01-29 Nec Corporation Apparatus, method and program for giving warning in connection with inputting of unvoiced speech
US20080175408A1 (en) * 2007-01-20 2008-07-24 Shridhar Mukund Proximity filter
US7734247B2 (en) * 2007-01-25 2010-06-08 Sony Ericsson Mobile Communications Ab Configurable serial memory interface
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8068620B2 (en) * 2007-03-01 2011-11-29 Canon Kabushiki Kaisha Audio processing apparatus
US7925502B2 (en) * 2007-03-01 2011-04-12 Microsoft Corporation Pitch model for noise estimation
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US8428661B2 (en) * 2007-10-30 2013-04-23 Broadcom Corporation Speech intelligibility in telephones with multiple microphones
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8676224B2 (en) 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8280732B2 (en) * 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
PL2301017T3 (pl) * 2008-05-09 2017-05-31 Nokia Technologies Oy Urządzenie akustyczne
US8774423B1 (en) 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8218397B2 (en) 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
JP5299030B2 (ja) * 2009-03-31 2013-09-25 ソニー株式会社 ヘッドホン装置
US9009039B2 (en) * 2009-06-12 2015-04-14 Microsoft Technology Licensing, Llc Noise adaptive training for speech recognition
WO2011047285A1 (en) 2009-10-16 2011-04-21 University Of Virginia Patent Foundation Gas-expanded lubricants for increased energy efficiency and related method and system
US8213664B2 (en) 2009-10-30 2012-07-03 Research In Motion Limited Shape-adaptable surface for an audio port
EP2326105B1 (en) * 2009-10-30 2011-10-26 Research in Motion Limited A shape-adaptable surface for an audio port
EP3550853A1 (en) * 2009-11-24 2019-10-09 Nokia Technologies Oy An apparatus
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9123323B2 (en) * 2010-06-04 2015-09-01 John P. Keady Method and structure for inducing acoustic signals and attenuating acoustic signals
US8761421B2 (en) 2011-01-14 2014-06-24 Audiotoniq, Inc. Portable electronic device and computer-readable medium for remote hearing aid profile storage
WO2011159349A1 (en) 2010-06-14 2011-12-22 Audiotoniq, Inc. Hearing aid system
US9167339B2 (en) 2010-07-07 2015-10-20 Iii Holdings 4, Llc Hearing damage limiting headphones
US8731923B2 (en) * 2010-08-20 2014-05-20 Adacel Systems, Inc. System and method for merging audio data streams for use in speech recognition applications
TWI486068B (zh) 2010-09-13 2015-05-21 Htc Corp 行動電子裝置與其聲音播放方法
US8515110B2 (en) 2010-09-30 2013-08-20 Audiotoniq, Inc. Hearing aid with automatic mode change capabilities
US10687150B2 (en) 2010-11-23 2020-06-16 Audiotoniq, Inc. Battery life monitor system and method
EP2458586A1 (en) * 2010-11-24 2012-05-30 Koninklijke Philips Electronics N.V. System and method for producing an audio signal
BR112013012539B1 (pt) * 2010-11-24 2021-05-18 Koninklijke Philips N.V. método para operar um dispositivo e dispositivo
KR101500823B1 (ko) * 2010-11-25 2015-03-09 고어텍 인크 음성 향상 방법, 장치 및 노이즈 감소 통신 헤드셋
US8918149B2 (en) 2010-12-27 2014-12-23 Rohm Co., Ltd. Mobile telephone
EP3767926A3 (en) * 2010-12-27 2021-03-24 FINEWELL Co., Ltd. Incoming-talk unit
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
JP5902416B2 (ja) * 2011-08-19 2016-04-13 株式会社ファインウェル 携帯電話
JP5911248B2 (ja) * 2011-09-22 2016-04-27 株式会社ファインウェル 携帯電話
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
US8909524B2 (en) * 2011-06-07 2014-12-09 Analog Devices, Inc. Adaptive active noise canceling for handset
JP5731362B2 (ja) * 2011-11-28 2015-06-10 京セラ株式会社 電子機器
CN106879080B (zh) 2012-01-20 2020-09-29 株式会社精好 移动电话、软骨传导振动源装置、聆听装置、通话装置
US20140364171A1 (en) * 2012-03-01 2014-12-11 DSP Group Method and system for improving voice communication experience in mobile communication devices
WO2013164999A1 (ja) * 2012-05-01 2013-11-07 京セラ株式会社 電子機器、制御方法及び制御プログラム
TWI645722B (zh) 2012-06-29 2018-12-21 日商精良股份有限公司 mobile phone
US9094749B2 (en) 2012-07-25 2015-07-28 Nokia Technologies Oy Head-mounted sound capture device
US9313572B2 (en) 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9363596B2 (en) 2013-03-15 2016-06-07 Apple Inc. System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
KR102282366B1 (ko) 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
KR101972290B1 (ko) 2013-08-23 2019-04-24 파인웰 씨오., 엘티디 휴대 전화
KR102079893B1 (ko) 2013-10-24 2020-02-20 파인웰 씨오., 엘티디 팔찌형 송수화 장치, 팔찌형 통지 장치
CN103778909B (zh) * 2014-01-10 2017-03-01 瑞声科技（南京）有限公司 屏幕发声系统及其控制方法
US9547175B2 (en) 2014-03-18 2017-01-17 Google Inc. Adaptive piezoelectric array for bone conduction receiver in wearable computers
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
JP6446913B2 (ja) * 2014-08-27 2019-01-09 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
TWI559784B (zh) * 2014-09-19 2016-11-21 和碩聯合科技股份有限公司 音訊裝置及音訊調校方法
JP5951738B2 (ja) * 2014-12-01 2016-07-13 株式会社ファインウェル 振動素子およびこれを用いた携帯電話
KR101973486B1 (ko) 2014-12-18 2019-04-29 파인웰 씨오., 엘티디 전자형 진동 유닛을 사용한 연골 전도 청취 장치 및 전자형 진동 유닛
TWI566742B (zh) 2015-02-26 2017-01-21 華邦電子股份有限公司 分析處理裝置
TWI552004B (zh) 2015-03-12 2016-10-01 國立交通大學 信號分解方法及其電子裝置
GB2538853B (en) 2015-04-09 2018-09-19 Dolby Laboratories Licensing Corp Switching to a second audio interface between a computer apparatus and an audio apparatus
KR102372188B1 (ko) * 2015-05-28 2022-03-08 삼성전자주식회사 오디오 신호의 잡음을 제거하기 위한 방법 및 그 전자 장치
US9847093B2 (en) * 2015-06-19 2017-12-19 Samsung Electronics Co., Ltd. Method and apparatus for processing speech signal
WO2017010547A1 (ja) 2015-07-15 2017-01-19 ローム株式会社 ロボットおよびロボットシステム
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
US10165362B2 (en) 2015-12-24 2018-12-25 Intel Corporation Automated equalization
CN108496345B (zh) 2016-01-19 2021-02-26 株式会社精好 笔型呼入呼出通话装置
JP6178884B2 (ja) * 2016-01-27 2017-08-09 株式会社ファインウェル 携帯電話
US10319377B2 (en) * 2016-03-15 2019-06-11 Tata Consultancy Services Limited Method and system of estimating clean speech parameters from noisy speech parameters
JP6096962B2 (ja) * 2016-03-29 2017-03-15 株式会社ファインウェル 携帯電話
CN107071652B (zh) * 2016-12-27 2023-08-04 深圳市优必选科技有限公司 一种服务机器人
CN106792354A (zh) * 2016-12-27 2017-05-31 广东小天才科技有限公司 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN106686494A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的语音输入控制方法及可穿戴设备
CN106850963A (zh) * 2016-12-27 2017-06-13 广东小天才科技有限公司 一种可穿戴设备的通话控制方法及可穿戴设备
US10614788B2 (en) 2017-03-15 2020-04-07 Synaptics Incorporated Two channel headset-based own voice enhancement
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
CN107910011B (zh) * 2017-12-28 2021-05-04 科大讯飞股份有限公司 一种语音降噪方法、装置、服务器及存储介质
US11600273B2 (en) 2018-02-14 2023-03-07 Nec Corporation Speech processing apparatus, method, and program
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
CN110058689A (zh) * 2019-04-08 2019-07-26 深圳大学 一种基于脸部振动的智能设备输入方法
JP2022547525A (ja) 2019-09-12 2022-11-14 シェンチェン ショックス カンパニー リミテッド 音声信号を生成するためのシステム及び方法
CN110931031A (zh) * 2019-10-09 2020-03-27 大象声科（深圳）科技有限公司 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法
CN111327985A (zh) * 2020-03-06 2020-06-23 华勤通讯技术有限公司 一种耳机降噪方法和装置
CN113205824B (zh) * 2021-04-30 2022-11-11 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012477A2 (en) * 2002-07-26 2004-02-05 Oakley, Inc. Wireless interactive headset

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2761800A (en) * 1955-05-02 1956-09-04 Rca Corp Method of forming p-n junctions in n-type germanium
US3383466A (en) * 1964-05-28 1968-05-14 Navy Usa Nonacoustic measures in automatic speech recognition
US3746789A (en) * 1971-10-20 1973-07-17 E Alcivar Tissue conduction microphone utilized to activate a voice operated switch
US3787641A (en) * 1972-06-05 1974-01-22 Setcom Corp Bone conduction microphone assembly
JPS5756624Y2 (ko) * 1979-04-20 1982-12-06
US4382164A (en) * 1980-01-25 1983-05-03 Bell Telephone Laboratories, Incorporated Signal stretcher for envelope generator
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
JPH0755167B2 (ja) * 1988-09-21 1995-06-14 松下電器産業株式会社 移動体
JPH03108997A (ja) 1989-09-22 1991-05-09 Temuko Japan:Kk 骨伝導マイク
JPH03160851A (ja) * 1989-11-20 1991-07-10 Fujitsu Ltd 携帯電話機
US5054079A (en) * 1990-01-25 1991-10-01 Stanton Magnetics, Inc. Bone conduction microphone with mounting means
US5404577A (en) * 1990-07-13 1995-04-04 Cairns & Brother Inc. Combination head-protective helmet & communications system
US5295193A (en) * 1992-01-22 1994-03-15 Hiroshi Ono Device for picking up bone-conducted sound in external auditory meatus and communication device using the same
US5590241A (en) * 1993-04-30 1996-12-31 Motorola Inc. Speech processing system and method for enhancing a speech signal in a noisy environment
US5446789A (en) * 1993-11-10 1995-08-29 International Business Machines Corporation Electronic device having antenna for receiving soundwaves
JPH0739150U (ja) * 1993-12-14 1995-07-14 アツデン株式会社 携帯用電話機
AU684872B2 (en) * 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
US5828768A (en) * 1994-05-11 1998-10-27 Noise Cancellation Technologies, Inc. Multimedia personal computer with active noise reduction and piezo speakers
EP0984660B1 (en) * 1994-05-18 2003-07-30 Nippon Telegraph and Telephone Corporation Transmitter-receiver having ear-piece type acoustic transducer part
JPH08186654A (ja) 1994-12-22 1996-07-16 Internatl Business Mach Corp <Ibm> 携帯端末装置
JP3453898B2 (ja) * 1995-02-17 2003-10-06 ソニー株式会社 音声信号の雑音低減方法及び装置
US5701390A (en) * 1995-02-22 1997-12-23 Digital Voice Systems, Inc. Synthesis of MBE-based coded speech using regenerated phase information
US5692059A (en) * 1995-02-24 1997-11-25 Kruger; Frederick M. Two active element in-the-ear microphone system
US5555449A (en) * 1995-03-07 1996-09-10 Ericsson Inc. Extendible antenna and microphone for portable communication unit
JP3264822B2 (ja) * 1995-04-05 2002-03-11 三菱電機株式会社 移動体通信機器
US5651074A (en) 1995-05-11 1997-07-22 Lucent Technologies Inc. Noise canceling gradient microphone assembly
KR960042590A (ko) * 1995-05-23 1996-12-21 김광호 테이프 재생용 음량기기에서의 발음비교방법
JP3591068B2 (ja) * 1995-06-30 2004-11-17 ソニー株式会社 音声信号の雑音低減方法
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JPH09172479A (ja) * 1995-12-20 1997-06-30 Yokoi Kikaku:Kk 送受話器およびそれを用いた通話装置
US6377919B1 (en) * 1996-02-06 2002-04-23 The Regents Of The University Of California System and method for characterizing voiced excitations of speech and acoustic signals, removing acoustic noise from speech, and synthesizing speech
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
US6243596B1 (en) * 1996-04-10 2001-06-05 Lextron Systems, Inc. Method and apparatus for modifying and integrating a cellular phone with the capability to access and browse the internet
JPH09284877A (ja) * 1996-04-19 1997-10-31 Toyo Commun Equip Co Ltd マイクシステム
US5943627A (en) * 1996-09-12 1999-08-24 Kim; Seong-Soo Mobile cellular phone
JPH10261910A (ja) 1997-01-16 1998-09-29 Sony Corp 携帯無線装置およびアンテナ装置
JP2874679B2 (ja) * 1997-01-29 1999-03-24 日本電気株式会社 雑音消去方法及びその装置
JPH10224253A (ja) * 1997-02-10 1998-08-21 Sony Corp 携帯通信機
US6308062B1 (en) * 1997-03-06 2001-10-23 Ericsson Business Networks Ab Wireless telephony system enabling access to PC based functionalities
FR2761800A1 (fr) 1997-04-02 1998-10-09 Scanera Sc Dispositif de transmission de voix et telephone le mettant en oeuvre
US5983073A (en) * 1997-04-04 1999-11-09 Ditzik; Richard J. Modular notebook and PDA computer systems for personal computing and wireless communications
US6175633B1 (en) * 1997-04-09 2001-01-16 Cavcom, Inc. Radio communications apparatus with attenuating ear pieces for high noise environments
US6151397A (en) * 1997-05-16 2000-11-21 Motorola, Inc. Method and system for reducing undesired signals in a communication environment
JP3548380B2 (ja) * 1997-05-30 2004-07-28 アイホン株式会社 ドアホン子機
US5924065A (en) * 1997-06-16 1999-07-13 Digital Equipment Corporation Environmently compensated speech processing
US6434239B1 (en) * 1997-10-03 2002-08-13 Deluca Michael Joseph Anti-sound beam method and apparatus
JPH11249692A (ja) 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
DE69936476T2 (de) 1998-03-18 2007-11-08 Nippon Telegraph And Telephone Corp. Tragbares Kommunikationsgerät zur Eingabe von Befehlen durch Detektion der Fingeraufschläge oder Vibrationen der Fingerspitzen
AU763861B2 (en) * 1998-05-19 2003-07-31 Spectrx, Inc. Apparatus and method for determining tissue characteristics
US6717991B1 (en) * 1998-05-27 2004-04-06 Telefonaktiebolaget Lm Ericsson (Publ) System and method for dual microphone signal noise reduction using spectral subtraction
US6052464A (en) * 1998-05-29 2000-04-18 Motorola, Inc. Telephone set having a microphone for receiving or an earpiece for generating an acoustic signal via a keypad
US6137883A (en) * 1998-05-30 2000-10-24 Motorola, Inc. Telephone set having a microphone for receiving an acoustic signal via keypad
JP3160714B2 (ja) * 1998-07-08 2001-04-25 株式会社シコー技研 携帯無線通信機
US6292674B1 (en) * 1998-08-05 2001-09-18 Ericsson, Inc. One-handed control for wireless telephone
JP3893763B2 (ja) * 1998-08-17 2007-03-14 富士ゼロックス株式会社 音声検出装置
US6760600B2 (en) * 1999-01-27 2004-07-06 Gateway, Inc. Portable communication apparatus
JP2000250577A (ja) * 1999-02-24 2000-09-14 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置及び同装置に使用される学習方法ならびに学習装置及び同方法がプログラムされ記録された記録媒体
DE19917169A1 (de) 1999-04-16 2000-11-02 Kamecke Keller Orla Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten
US6738485B1 (en) * 1999-05-10 2004-05-18 Peter V. Boesen Apparatus, method and system for ultra short range communication
US20020057810A1 (en) * 1999-05-10 2002-05-16 Boesen Peter V. Computer and voice communication unit with handsfree device
US6542721B2 (en) * 1999-10-11 2003-04-01 Peter V. Boesen Cellular telephone, personal digital assistant and pager unit
US6952483B2 (en) * 1999-05-10 2005-10-04 Genisus Systems, Inc. Voice transmission apparatus with UWB
US6560468B1 (en) * 1999-05-10 2003-05-06 Peter V. Boesen Cellular telephone, personal digital assistant, and pager unit with capability of short range radio frequency transmissions
US6094492A (en) * 1999-05-10 2000-07-25 Boesen; Peter V. Bone conduction voice transmission apparatus and system
JP2001016057A (ja) * 1999-07-01 2001-01-19 Matsushita Electric Ind Co Ltd 音響装置
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
US6603823B1 (en) * 1999-11-12 2003-08-05 Intel Corporation Channel estimator
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US6411933B1 (en) * 1999-11-22 2002-06-25 International Business Machines Corporation Methods and apparatus for correlating biometric attributes and biometric attribute production features
GB2357400A (en) * 1999-12-17 2001-06-20 Nokia Mobile Phones Ltd Controlling a terminal of a communication system
JP4472823B2 (ja) * 2000-02-04 2010-06-02 パナソニック株式会社 クロマトグラフィー試験片、及びその製造方法
US20030179888A1 (en) * 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
JP3339579B2 (ja) * 2000-10-04 2002-10-28 株式会社鷹山 電話装置
KR100394840B1 (ko) * 2000-11-30 2003-08-19 한국과학기술원 독립 성분 분석을 이용한 능동 잡음 제거방법
US6853850B2 (en) * 2000-12-04 2005-02-08 Mobigence, Inc. Automatic speaker volume and microphone gain control in a portable handheld radiotelephone with proximity sensors
US20020075306A1 (en) * 2000-12-18 2002-06-20 Christopher Thompson Method and system for initiating communications with dispersed team members from within a virtual team environment using personal identifiers
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
GB2375276B (en) 2001-05-03 2003-05-28 Motorola Inc Method and system of sound processing
US6987986B2 (en) * 2001-06-21 2006-01-17 Boesen Peter V Cellular telephone, personal digital assistant with dual lines for simultaneous uses
JP3699018B2 (ja) * 2001-07-25 2005-09-28 埼玉日本電気株式会社 電話機の自動音量調整装置
US7054423B2 (en) * 2001-09-24 2006-05-30 Nebiker Robert M Multi-media communication downloading
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US6952482B2 (en) * 2001-10-02 2005-10-04 Siemens Corporation Research, Inc. Method and apparatus for noise filtering
JP3532544B2 (ja) * 2001-10-30 2004-05-31 株式会社テムコジャパン 面体又は帽体のストラップ装着用送受話装置
JP3678694B2 (ja) * 2001-11-02 2005-08-03 Ｎｅｃビューテクノロジー株式会社 対話型端末装置、その通話制御方法、およびそのプログラム
US7162415B2 (en) * 2001-11-06 2007-01-09 The Regents Of The University Of California Ultra-narrow bandwidth voice coding
US6707921B2 (en) * 2001-11-26 2004-03-16 Hewlett-Packard Development Company, Lp. Use of mouth position and mouth movement to filter noise from speech in a hearing aid
DE10158583A1 (de) * 2001-11-29 2003-06-12 Philips Intellectual Property Verfahren zum Betrieb eines Barge-In-Dialogsystems
US6664713B2 (en) * 2001-12-04 2003-12-16 Peter V. Boesen Single chip device for voice communications
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7117148B2 (en) * 2002-04-05 2006-10-03 Microsoft Corporation Method of noise reduction using correction vectors based on dynamic aspects of speech and noise normalization
US7190797B1 (en) * 2002-06-18 2007-03-13 Plantronics, Inc. Headset with foldable noise canceling and omnidirectional dual-mode boom
GB2421668B (en) 2002-06-24 2007-01-03 Samsung Electronics Co Ltd Usage position detection
US7092529B2 (en) * 2002-11-01 2006-08-15 Nanyang Technological University Adaptive control system for noise cancellation
WO2004068464A2 (en) * 2003-01-30 2004-08-12 Aliphcom, Inc. Acoustic vibration sensor
US7593851B2 (en) * 2003-03-21 2009-09-22 Intel Corporation Precision piecewise polynomial approximation for Ephraim-Malah filter
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
US7447630B2 (en) * 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7133825B2 (en) * 2003-11-28 2006-11-07 Skyworks Solutions, Inc. Computationally efficient background noise suppressor for speech coding and speech recognition
US7499686B2 (en) 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US8095073B2 (en) * 2004-06-22 2012-01-10 Sony Ericsson Mobile Communications Ab Method and apparatus for improved mobile station and hearing aid compatibility
US7574008B2 (en) * 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012477A2 (en) * 2002-07-26 2004-02-05 Oakley, Inc. Wireless interactive headset

Also Published As

Publication number Publication date
BRPI0500587A (pt) 2005-10-18
KR20050086378A (ko) 2005-08-30
US20050185813A1 (en) 2005-08-25
SG114686A1 (en) 2005-09-28
EP1569422A2 (en) 2005-08-31
NZ537900A (en) 2006-08-31
AU2005200249A1 (en) 2005-09-08
MXPA05002133A (es) 2005-12-05
CN101510905A (zh) 2009-08-19
EG23701A (en) 2007-05-22
NO332636B1 (no) 2012-11-26
RU2005104970A (ru) 2006-08-10
CN100583909C (zh) 2010-01-20
US7499686B2 (en) 2009-03-03
EP1569422A3 (en) 2007-08-29
CA2494637C (en) 2013-09-03
NO20050986L (no) 2005-08-25
CN101510905B (zh) 2011-03-09
TW200601798A (en) 2006-01-01
JP4796309B2 (ja) 2011-10-19
EP1569422B1 (en) 2019-11-13
RU2376722C2 (ru) 2009-12-20
CA2494637A1 (en) 2005-08-24
ZA200500691B (en) 2007-03-28
JP2005244968A (ja) 2005-09-08
NO20050986D0 (no) 2005-02-23
IL166473A (en) 2010-12-30
ES2775799T3 (es) 2020-07-28
IL166473A0 (en) 2006-01-15
CN1662018A (zh) 2005-08-31

Similar Documents

Publication Publication Date Title
KR101137181B1 (ko) 이동 장치의 다감각 음성 개선을 위한 방법 및 장치
KR101099339B1 (ko) 복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체
CN108346425B (zh) 一种语音活动检测的方法和装置、语音识别的方法和装置
US8423357B2 (en) System and method for biometric acoustic noise reduction
CN117294985A (zh) 一种tws蓝牙耳机控制方法
Ding Speech enhancement in transform domain
JP2000206986A (ja) 言語情報検出装置
US20130226568A1 (en) Audio signals by estimations and use of human voice attributes
CN115691473A (zh) 一种语音端点检测方法、装置和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 8