KR20170007114A - 음성 신호 처리 장치 및 방법, 그리고 단말 - Google Patents

음성 신호 처리 장치 및 방법, 그리고 단말 Download PDF

Info

Publication number
KR20170007114A
KR20170007114A KR1020160076806A KR20160076806A KR20170007114A KR 20170007114 A KR20170007114 A KR 20170007114A KR 1020160076806 A KR1020160076806 A KR 1020160076806A KR 20160076806 A KR20160076806 A KR 20160076806A KR 20170007114 A KR20170007114 A KR 20170007114A
Authority
KR
South Korea
Prior art keywords
signal
voice
operation mode
external terminal
voice signal
Prior art date
Application number
KR1020160076806A
Other languages
English (en)
Other versions
KR102223653B1 (ko
Inventor
이민규
김상훈
김영익
김동현
최무열
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/202,912 priority Critical patent/US10298736B2/en
Publication of KR20170007114A publication Critical patent/KR20170007114A/ko
Application granted granted Critical
Publication of KR102223653B1 publication Critical patent/KR102223653B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 일 실시예에 따른 음성 신호 처리 장치는 사용자의 음성 신호를 입력받는 입력부, 보조 신호를 감지하는 감지부, 및 제 1 동작 모드에서 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 신호 처리부를 포함할 수 있다.

Description

음성 신호 처리 장치 및 방법, 그리고 단말{APPARATUS AND METHOD FOR PROCESSING VOICE SIGNAL AND TERMINAL}
본 발명은 음성 신호 처리 장치 및 방법, 그리고 단말에 관한 것이다.
종래의 스마트폰, PC와 같은 음성 인식 서비스를 제공하는 장치에서는 발화자의 음성을 음성 인식 단말기에 전달하는 도구로 PC 마이크, 스마트폰 마이크, 혹은 블루투스 헤드셋 등이 사용되었다. 그 중에서도 블루투스 헤드셋은 별도의 케이블 없이 귀에만 장착하는 형태로 사용자에게 편의성을 제공하므로 널리 사용되고 있다.
그러나 위와 같은 마이크, 블루투스 헤드셋들은 발화자의 음성 이외에 다른 사람의 목소리나 주변 잡음에 취약하다. 주변 잡음을 제거하기 위해 자체적으로 신호 처리 과정을 거쳐 음성 인식 단말기로 전달하는 경우도 있지만, 신호 처리가 완료된 단일(mono) 채널 정보밖에 전달할 수 없어 소프트웨어적으로 추가적인 후 처리를 할 수 없다는 단점이 있었다. 또한 통화의 상대방의 음성도 그대로 사용자의 마이크로 들어가게 되어 음성 인식 기능의 오동작을 일으키게 하는 원인이 되는 문제가 있었다.
본 발명의 실시예들의 목적은 하드웨어의 추가적인 변경없이 음성 인식 처리를 위한 보조 신호를 외부 단말로 전달할 수 있는 음성 신호 처리 장치 및 방법, 그리고 단말을 제공하는 데 있다.
본 발명의 실시예들의 목적은 음성 인식의 정확도를 향상시킬 수 있는 음성 신호 처리 장치 및 방법, 그리고 단말을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 음성 신호 처리 장치는 사용자의 음성 신호를 입력받는 입력부, 보조 신호를 감지하는 감지부, 및 제 1 동작 모드에서 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 신호 처리부를 포함할 수 있다.
일 실시예에서, 상기 보조 신호는 상기 음성 신호의 음성 인식 처리에 이용되는 신호일 수 있다.
일 실시예에서, 상기 신호 처리부는 상기 제 2 동작 모드에서 핸즈프리 프로파일(HandsFree Profile, HFP)에 기반하여 상기 음성 신호를 상기 외부 단말로 전송하고, 블루투스 저전력(Bluetooth Low Energy, BLE)에 기반하여 상기 보조 신호를 상기 외부 단말로 전송할 수 있다.
일 실시예에서, 상기 신호 처리부는 상기 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 상기 통합 신호를 핸즈프리 프로파일에 기반하여 상기 외부 단말로 전송할 수 있다.
일 실시예에서, 상기 감지부는 인-이어(in-ear) 타입 마이크, 골전도 마이크, 모션 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에서, 상기 감지부가 상기 인-이어 타입 마이크 또는 골전도 마이크이고, 상기 보조 신호가 기준 레벨이상인 경우 상기 신호 처리부는 상기 보조 신호를 상기 외부 단말로 전송할 수 있다.
일 실시예에서, 상기 음성 신호 또는 보조 신호를 상기 외부 단말로 전송하는 통신부를 더 포함하고, 상기 통신부는 블루투스 통신 모듈을 포함할 수 있다.
일 실시예에서, 사용자로부터 상기 제 1 동작 모드 또는 제 2 동작 모드를 입력받는 스위치를 더 포함할 수 있다.
일 실시예에서, 상기 스위치는 상기 제 2 동작 모드에서 동일한 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지, 서로 다른 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지 여부를 입력받을 수 있다.
본 발명의 일 실시예에 따른 음성 신호 처리 방법은 사용자의 음성 신호를 입력받는 단계, 보조 신호를 감지하는 단계, 동작 모드를 선택받는 단계, 및 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 동일한 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지, 서로 다른 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지 여부를 입력받는 단계를 포함할 수 있다.
일 실시예에서, 상기 보조 신호는 상기 음성 신호의 음성 인식 처리에 이용되는 신호일 수 있다.
일 실시예에서, 상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 핸즈프리 프로파일(HandsFree Profile, HFP)에 기반하여 상기 음성 신호를 상기 외부 단말로 전송하고, 블루투스 저전력(Bluetooth Low Energy, BLE)에 기반하여 상기 보조 신호를 상기 외부 단말로 전송할 수 있다.
일 실시예에서, 상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 상기 통합 신호를 핸즈프리 프로파일에 기반하여 상기 외부 단말로 전송할 수 있다.
본 발명의 일 실시예에 따른 단말은 음성 신호 및 보조 신호를 수신하는 통신부, 및 상기 보조 신호를 이용하여 상기 음성 신호에 포함된 사용자의 음성 구간을 식별하고, 상기 음성 구간을 이용하여 음성 인식을 처리하는 음성 인식 처리부를 포함할 수 있다.
일 실시예에서, 상기 보조 신호는 인-이어 타입 마이크 또는 골전도 마이크를 통해 감지된 신호이고, 상기 음성 인식 처리부는 상기 음성 신호에서 상기 보조 신호의 레벨이 기준 레벨 이상인 구간에 대응되는 음성 구간을 이용하여 음성 인식을 처리할 수 있다.
본 발명의 실시예들에 따른 음성 신호 처리 장치 및 방법, 그리고 단말에 따르면 하드웨어의 추가적인 변경없이 음성 인식 처리를 위한 보조 신호를 외부 단말로 전달할 수 있다.
본 발명의 실시예들에 따른 음성 신호 처리 장치 및 방법, 그리고 단말에 따르면 음성 인식의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 음성 인식 처리 시스템을 보여준다.
도 2는 본 발명의 일 실시예에 따른 음성 신호 처리 장치를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 음성 신호 처리 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 단말을 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 단말의 음성 인식 처리 동작을 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 음성 인식 처리 시스템을 보여준다. 도 2는 본 발명의 일 실시예에 따른 음성 신호 처리 장치를 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음성 인식 처리 시스템(1000)은 사용자의 음성을 인식 처리하여, 다른 언어로의 번역, 기기 제어와 같은 기능들을 제공할 수 있다. 이를 위해 음성 인식 처리 시스템(1000)은 음성 신호 처리 장치(100) 및 단말(200)을 포함할 수 있다. 다만, 도 1에서는 사용자의 음성을 입력받는 음성 신호 처리 장치(100)와 음성 인식을 처리하는 단말(200)이 기능적으로 구분되어 도시되어 있으나, 이에 한정되는 것은 아니며, 음성 신호 처리 장치(100)와 단말(200)은 하나의 전자 기기로 통합되어 구성될 수도 있다.
음성 신호 처리 장치(100)는 사용자로부터 입력되는 음성 신호를 단말(200)로 전달할 수 있다. 예를 들어, 음성 신호 처리 장치(100)는 블루투스 핸즈프리(Bluetooth Handsfree) 기기일 수 있으며, 사용자의 귀에 착용이 용이한 형태를 가질 수 있다. 또한, 음성 신호 처리 장치(100)는 음성 신호의 음성 인식 처리를 위한 음성 구간 식별에 이용되는 보조 신호를 단말(200)로 전달할 수 있다.
음성 신호 처리 장치(100)는 동작 모드에 따라 음성 신호 및/또는 보조 신호를 단말(200)로 전달할 수 있다. 예를 들어, 동작 모드는 사용자에 의해 설정될 수 있다. 음성 신호 처리 장치(100)는 제 1 동작 모드에서 음성 신호만을 단말(200)로 전송할 수 있고, 제 2 동작 모드에서 음성 신호 및 보조 신호를 단말(200)로 전송하되, 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 단말(200)로 전송할 수 있다. 예를 들어, 음성 신호 처리 장치(100)는 음성 신호 및 보조 신호를 동일한 프로토콜을 이용하여 단말(200)로 전송하는 경우, 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 생성된 통합 신호를 단말(200)로 전송할 수 있다. 상기 프로토콜은 블루투스 핸즈프리 프로파일(HandsFree Profile) 및 블루투스 저전력(Bluetooth Low Energy, BLE) 프로토콜을 포함할 수 있다.
상술한 바와 같이, 음성 신호 처리 장치(100)는 동작 모드에 따라 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 통해 단말(200)로 전송할 수 있고, 음성 신호 및 보조 신호를 동일한 프로토콜을 통해 단말(200)로 전송하는 경우, 음성 신호 및 보조 신호를 통합하여 기존의 음성 신호를 전달하는 프로토콜(예를 들어, 블루투스 핸즈프리 프로파일(HFP))에 기반하여 단말(200)로 전송할 수도 있다. 따라서, 하드웨어의 추가적인 변경없이 음성 인식 처리를 위한 보조 신호를 단말(200)로 전달할 수 있고, 음성 신호 처리 장치(100)의 핸즈프리 동작에도 전혀 제약이 없을 수 있다. 음성 신호 처리 장치(100)는 도 2를 참조하여 더욱 구체적으로 설명될 것이다.
도 1 및 도 2를 참조하면, 음성 신호 처리 장치(100)는 입력부(110), 감지부(120), 신호 처리부(130), 통신부(140), 스위치(150), 및 출력부(160)를 포함할 수 있다.
입력부(110)는 사용자로부터 음성 신호를 입력받을 수 있다. 예를 들어, 입력부(110)는 모노 마이크일 수 있으나, 이에 한정되는 것은 아니다.
감지부(120)는 보조 신호를 감지할 수 있다. 여기서, 보조 신호는 사용자의 음성 신호의 음성 인식 처리를 위한 음성 구간 식별에 이용되는 신호를 의미할 수 있다. 예를 들어, 감지부(120)는 인-이어(in-ear) 마이크, 골전도 마이크, 모션 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다.
예를 들어, 감지부(120)가 인-이어 마이크 또는 골전도 마이크인 경우 감지부(120)는 사용자의 귓속 또는 관자놀이 부근에 배치될 수 있고, 사용자가 발화하면 사용자의 음성 신호를 감지할 수 있으며, 이러한 측면에서 보조 신호는 감지부(120)를 통해 감지되는 사용자의 음성 신호를 의미할 수 있다. 즉, 감지부(120)는 입력부(110)와 달리 주변 소음/잡음의 영향이 상대적으로 적은 음성 신호가 입력되므로, 사용자의 음성 신호의 음성 구간을 식별하는 데 유용하게 이용될 수 있다.
또한, 예를 들어, 감지부(120)가 모션 센서 또는 자이로 센서인 경우, 사용자가 발화하면 감지부(120)에 발생하는 움직임을 감지할 수 있으며, 이러한 측면에서 보조 신호는 감지부(120)를 통해 감지되는 사용자의 움직임을 의미할 수 있다. 즉, 감지부(120)는 사용자의 발화에 기인하는 움직임을 감지하므로, 사용자의 음성 신호의 음성 구간을 식별하는 데 유용하게 이용될 수 있다.
신호 처리부(130)는 동작 모드에 따라 동작 모드에 따라 음성 신호 및/또는 보조 신호를 단말(200)로 전달할 수 있다. 예를 들어, 동작 모드는 사용자에 의해 설정될 수 있으며, 제 1 동작 모드 및 제 2 동작 모드를 포함할 수 있다. 신호 처리부(130)는 보조 신호가 기준 레벨 이상인 경우 보조 신호를 단말(200)로 전달할 수 있다.
신호 처리부(130)는 제 1 동작 모드에서 블루투스 핸즈프리 프로파일(HFP)에 기반하여 음성 신호만을 단말(200)로 전송할 수 있다. 신호 처리부(130)는 제 2 동작 모드에서 음성 신호 및 보조 신호를 단말(200)로 전송하되, 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 단말(200)로 전송할 수 있다. 상기 프로토콜은 블루투스 핸즈프리 프로파일(HFP) 및 블루투스 저전력(Bluetooth Low Energy, BLE) 프로토콜을 포함할 수 있다.
예를 들어, 신호 처리부(130)는 음성 신호 및 보조 신호를 서로 다른 프로토콜을 이용하여 단말(200)로 전송하는 경우, 음성 신호는 블루투스 핸즈프리 프로파일(HFP)에 기반하여 단말(200)로 전송하고, 보조 신호는 블루투스 저전력(BLE)에 기반하여 단말(200)로 전송할 수 있다. 또한, 예를 들어, 신호 처리부(130)는 음성 신호 및 보조 신호를 동일한 프로토콜을 이용하여 단말(200)로 전송하는 경우, 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 생성된 통합 신호를 블루투스 핸즈프리 프로파일(HFP)에 기반하여 단말(200)로 전송할 수 있다. 예를 들어, 통합 신호는 음성 신호 및 보조 신호가 소정 시간 간격으로 교대로 단말(200)로 전송되는 형태를 가질 수 있다.
통신부(140)는 신호 처리부(130)의 제어에 따라 음성 신호 및/또는 보조 신호를 단말(200)에 전달할 수 있다. 또한, 통신부(140)는 단말(200)로부터 음성/음향 출력 데이터들을 수신할 수 있다. 수신된 데이터들은 신호 처리부(130)를 통해 출력부(160)로 출력될 수 있다. 예를 들어, 통신부(140)는 블루투스 통신모듈을 포함할 수 있다.
스위치(150)는 사용자로부터 제 1 동작 모드 또는 제 2 동작 모드를 입력받을 수 있다. 또한, 스위치(150)는 사용자로부터 제 2 동작 모드에서 음성 신호 및 보조 신호를 동일한 프로토콜(단일) 또는 서로 다른 프로토콜(개별)을 이용하여 단말(200)로 전송할지 여부를 입력받을 수 있다.
출력부(160)는 신호 처리부(130)로부터 전달되는 데이터/신호를 출력할 수 있다. 예를 들어, 출력부(160)는 이어폰일 수 있으나, 이에 한정되는 것은 아니다.
다시 도 1을 참조하면, 단말(200)은 음성 신호 처리 장치(100)로부터 전달되는 음성 신호를 음성 인식 처리할 수 있다. 단말(200)은 음성 신호 처리 장치(100)로부터 전달되는 보조 신호를 이용하여 음성 신호에 포함된 사용자의 음성 구간을 식별하고, 식별된 음성 구간을 이용하여 음성 인식을 처리할 수 있다.
따라서, 단말(200)은 사용자의 음성 구간을 보다 정확하게 식별할 수 있고, 음성 인식의 정확도가 향상될 수 있다. 단말(200)의 동작에 대해서는 이하의 도 4 및 도 5를 참조하여 더욱 구체적으로 설명될 것이다.
도 3은 본 발명의 일 실시예에 따른 음성 신호 처리 방법을 보여주는 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 음성 신호 처리 방법은 사용자의 음성 신호를 입력받는 단계(S110), 보조 신호를 감지하는 단계(S120), 동작 모드를 선택받는 단계(S130), 제 1 동작 모드로 선택되는 경우 음성 신호를 외부 단말로 전송하는 단계(S140), 제 2 동작 모드로 선택되는 경우 전송 스킴을 선택받는 단계(S150), 개별 전송으로 선택되는 경우 음성 신호 및 보조 신호를 서로 다른 프로토콜을 이용하여 단말(200)로 전송하는 단계(S160), 단일 전송으로 선택되는 경우 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 통합 신호를 외부 단말로 전송하는 단계(S170)를 포함할 수 있다.
이하에서는 도 1 및 도 2를 참조하여 상술한 S110 단계 내지 S170 단계가 더욱 구체적으로 설명된다.
S110 단계에서, 입력부(110)는 사용자로부터 음성 신호를 입력받을 수 있다. 예를 들어, 입력부(110)는 모노 마이크일 수 있으나, 이에 한정되는 것은 아니다.
S120 단계에서, 감지부(120)는 보조 신호를 감지할 수 있다. 여기서, 보조 신호는 사용자의 음성 신호의 음성 인식 처리를 위한 음성 구간 식별에 이용되는 신호를 의미할 수 있다. 예를 들어, 감지부(120)는 인-이어(in-ear) 마이크, 골전도 마이크, 모션 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다. S120 단계는 S110 단계와 동시에 수행될 수 있다.
예를 들어, 감지부(120)가 인-이어 마이크 또는 골전도 마이크인 경우 감지부(120)는 사용자의 귓속 또는 관자놀이 부근에 배치될 수 있고, 사용자가 발화하면 사용자의 음성 신호를 감지할 수 있으며, 이러한 측면에서 보조 신호는 감지부(120)를 통해 감지되는 사용자의 음성 신호를 의미할 수 있다. 즉, 감지부(120)는 입력부(110)와 달리 주변 소음/잡음의 영향이 상대적으로 적은 음성 신호가 입력되므로, 사용자의 음성 신호의 음성 구간을 식별하는 데 유용하게 이용될 수 있다.
또한, 예를 들어, 감지부(120)가 모션 센서 또는 자이로 센서인 경우, 사용자가 발화하면 감지부(120)에 발생하는 움직임을 감지할 수 있으며, 이러한 측면에서 보조 신호는 감지부(120)를 통해 감지되는 사용자의 움직임을 의미할 수 있다. 즉, 감지부(120)는 사용자의 발화에 기인하는 움직임을 감지하므로, 사용자의 음성 신호의 음성 구간을 식별하는 데 유용하게 이용될 수 있다.
S130 단계에서, 스위치(150)는 사용자로부터 제 1 동작 모드 또는 제 2 동작 모드를 입력받을 수 있다.
S140 단계에서, 신호 처리부(130)는 제 1 동작 모드에서 블루투스 핸즈프리 프로파일(HFP)에 기반하여 음성 신호만을 단말(200)로 전송할 수 있다.
S150 단계에서, 스위치(150)는 사용자로부터 제 2 동작 모드에서 음성 신호 및 보조 신호를 동일한 프로토콜(단일) 또는 서로 다른 프로토콜(개별)을 이용하여 단말(200)로 전송할지 여부를 입력받을 수 있다.
S160 단계에서, 신호 처리부(130)는 음성 신호는 블루투스 핸즈프리 프로파일(HFP)에 기반하여 단말(200)로 전송하고, 보조 신호는 블루투스 저전력(BLE)에 기반하여 단말(200)로 전송할 수 있다.
S170 단계에서, 신호 처리부(130)는 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 생성된 통합 신호를 블루투스 핸즈프리 프로파일(HFP)에 기반하여 단말(200)로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 단말을 보여주는 블록도이다. 도 5는 본 발명의 일 실시예에 따른 단말의 음성 인식 처리 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 단말(200)은 통신부(210) 및 음성 인식 처리부(210)를 포함할 수 있다.
통신부(210)는 음성 신호 처리 장치(100)로부터 음성 신호 및 보조 신호를 수신할 수 있다. 또한, 통신부(210)는 음성/음향 출력 데이터들을 음성 신호 처리 장치(100)로 전달할 수 있다. 예를 들어, 통신부(210)는 블루투스 통신모듈을 포함할 수 있다.
음성 인식 처리부(220)는 보조 신호를 이용하여 음성 신호에 포함된 사용자의 음성 구간을 식별하고, 식별된 음성 구간을 이용하여 음성 인식 처리를 수행할 수 있다.
도 5를 참조하면, 음성 인식 처리부(220)는 보조 신호를 이용하여 음성 신호의 음성 구간을 식별할 수 있다. 예를 들어, 음성 인식 처리부(220)는 보조 신호의 레벨이 기준 레벨 이상인 구간에 대응되는 구간(b)을 음성 신호의 음성 구간으로 식별하고, 식별된 음성 구간을 이용하여 음성 인식 처리를 수행할 수 있다. 반면, 음성 인식 처리부(220)는 보조 신호의 레벨이 기준 레벨 미만인 구간에 대응되는 구간(a, c)은 음성 신호의 음성 구간이 아닌 것으로 식별할 수 있다.
상술한 바와 같이, 보조 신호는 주변 소음/잡음의 영향이 상대적으로 적은 음성 신호 또는 사용자의 발화에 기인하는 움직임을 감지한 신호이므로, 음성 신호의 음성 구간을 정확히 판별하는 데 이용될 수 있고, 결과적으로 음성 인식의 정확도가 향상될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 음성 인식 처리 시스템
100: 음성 신호 처리 장치
110: 입력부
120: 감지부
130: 신호 처리부
140: 통신부
150: 스위치
160: 출력부
200: 단말
210: 통신부
220: 음성 인식 처리부

Claims (16)

  1. 사용자의 음성 신호를 입력받는 입력부;
    보조 신호를 감지하는 감지부; 및
    제 1 동작 모드에서 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 신호 처리부를 포함하는 음성 신호 처리 장치.
  2. 제 1 항에 있어서,
    상기 보조 신호는 상기 음성 신호의 음성 인식 처리에 이용되는 신호인 것을 특징으로 하는 음성 신호 처리 장치.
  3. 제 1 항에 있어서,
    상기 신호 처리부는 상기 제 2 동작 모드에서 핸즈프리 프로파일(HandsFree Profile, HFP)에 기반하여 상기 음성 신호를 상기 외부 단말로 전송하고, 블루투스 저전력(Bluetooth Low Energy, BLE)에 기반하여 상기 보조 신호를 상기 외부 단말로 전송하는 것을 특징으로 하는 음성 신호 처리 장치.
  4. 제 1 항에 있어서,
    상기 신호 처리부는 상기 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 상기 통합 신호를 핸즈프리 프로파일에 기반하여 상기 외부 단말로 전송하는 것을 특징으로 하는 음성 신호 처리 장치.
  5. 제 1 항에 있어서,
    상기 감지부는 인-이어(in-ear) 타입 마이크, 골전도 마이크, 모션 센서 및 자이로 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 음성 신호 처리 장치.
  6. 제 5 항에 있어서,
    상기 감지부가 상기 인-이어 타입 마이크 또는 골전도 마이크이고, 상기 보조 신호가 기준 레벨이상인 경우 상기 신호 처리부는 상기 보조 신호를 상기 외부 단말로 전송하는 것을 특징으로 하는 음성 신호 처리 장치.
  7. 제 1 항에 있어서,
    상기 음성 신호 또는 보조 신호를 상기 외부 단말로 전송하는 통신부를 더 포함하고, 상기 통신부는 블루투스 통신 모듈을 포함하는 것을 특징으로 하는 음성 신호 처리 장치.
  8. 제 1 항에 있어서,
    사용자로부터 상기 제 1 동작 모드 또는 제 2 동작 모드를 입력받는 스위치를 더 포함하는 것을 특징으로 하는 음성 신호 처리 장치.
  9. 제 8 항에 있어서,
    상기 스위치는 상기 제 2 동작 모드에서 동일한 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지, 서로 다른 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지 여부를 입력받는 것을 특징으로 하는 음성 신호 처리 장치.
  10. 사용자의 음성 신호를 입력받는 단계;
    보조 신호를 감지하는 단계;
    동작 모드를 선택받는 단계; 및
    제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계를 포함하는 음성 신호 처리 방법.
  11. 제 10 항에 있어서,
    상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 동일한 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지, 서로 다른 프로토콜을 이용하여 상기 음성 신호 및 보조 신호를 상기 외부 단말로 전송할지 여부를 입력받는 단계를 포함하는 것을 특징으로 하는 음성 신호 처리 방법.
  12. 제 10 항에 있어서,
    상기 보조 신호는 상기 음성 신호의 음성 인식 처리에 이용되는 신호인 것을 특징으로 하는 음성 신호 처리 방법.
  13. 제 10 항에 있어서,
    상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 핸즈프리 프로파일(HandsFree Profile, HFP)에 기반하여 상기 음성 신호를 상기 외부 단말로 전송하고, 블루투스 저전력(Bluetooth Low Energy, BLE)에 기반하여 상기 보조 신호를 상기 외부 단말로 전송하는 것을 특징으로 하는 음성 신호 처리 방법.
  14. 제 10 항에 있어서,
    상기 제 1 동작 모드로 선택되는 경우 상기 음성 신호를 외부 단말로 전송하고, 제 2 동작 모드로 선택되는 경우 상기 음성 신호 및 보조 신호를 동일한 프로토콜 또는 서로 다른 프로토콜을 이용하여 상기 외부 단말로 전송하는 단계는 상기 제 2 동작 모드에서 상기 음성 신호 및 보조 신호를 통합하여 통합 신호를 생성하고, 상기 통합 신호를 핸즈프리 프로파일에 기반하여 상기 외부 단말로 전송하는 것을 특징으로 하는 음성 신호 처리 방법.
  15. 음성 신호 및 보조 신호를 수신하는 통신부; 및
    상기 보조 신호를 이용하여 상기 음성 신호에 포함된 사용자의 음성 구간을 식별하고, 상기 음성 구간을 이용하여 음성 인식을 처리하는 음성 인식 처리부를 포함하는 단말.
  16. 제 15 항에 있어서,
    상기 보조 신호는 인-이어 타입 마이크 또는 골전도 마이크를 통해 감지된 신호이고, 상기 음성 인식 처리부는 상기 음성 신호에서 상기 보조 신호의 레벨이 기준 레벨 이상인 구간에 대응되는 음성 구간을 이용하여 음성 인식을 처리하는 것을 특징으로 하는 단말.
KR1020160076806A 2015-07-10 2016-06-20 음성 신호 처리 장치 및 방법, 그리고 단말 KR102223653B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/202,912 US10298736B2 (en) 2015-07-10 2016-07-06 Apparatus and method for processing voice signal and terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150098384 2015-07-10
KR20150098384 2015-07-10

Publications (2)

Publication Number Publication Date
KR20170007114A true KR20170007114A (ko) 2017-01-18
KR102223653B1 KR102223653B1 (ko) 2021-03-05

Family

ID=57992215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160076806A KR102223653B1 (ko) 2015-07-10 2016-06-20 음성 신호 처리 장치 및 방법, 그리고 단말

Country Status (1)

Country Link
KR (1) KR102223653B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080305A (ko) * 2017-12-28 2019-07-08 주식회사 오르페오사운드웍스 인-이어 마이크로폰을 갖는 이어셋을 이용한 실시간 통역서비스 시스템 및 방법
KR20200124310A (ko) * 2018-03-21 2020-11-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 바이오메트릭 프로세스들

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63278100A (ja) * 1987-04-30 1988-11-15 株式会社東芝 音声認識装置
JPH11305792A (ja) * 1998-02-20 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 収音装置，音声認識装置，これらの方法、及びプログラム記録媒体
KR101531924B1 (ko) * 2014-07-11 2015-06-26 현대자동차주식회사 블루투스 부하 제어 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63278100A (ja) * 1987-04-30 1988-11-15 株式会社東芝 音声認識装置
JPH11305792A (ja) * 1998-02-20 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 収音装置，音声認識装置，これらの方法、及びプログラム記録媒体
KR101531924B1 (ko) * 2014-07-11 2015-06-26 현대자동차주식회사 블루투스 부하 제어 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080305A (ko) * 2017-12-28 2019-07-08 주식회사 오르페오사운드웍스 인-이어 마이크로폰을 갖는 이어셋을 이용한 실시간 통역서비스 시스템 및 방법
KR20200124310A (ko) * 2018-03-21 2020-11-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 바이오메트릭 프로세스들

Also Published As

Publication number Publication date
KR102223653B1 (ko) 2021-03-05

Similar Documents

Publication Publication Date Title
US11494473B2 (en) Headset for acoustic authentication of a user
US10535362B2 (en) Speech enhancement for an electronic device
US9532131B2 (en) System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
JP5419361B2 (ja) 音声制御システムおよび音声制御方法
EP3246790B1 (en) Information processing of combined voice and gesture input operations
CN107465970B (zh) 用于语音通信的设备
CN109360549B (zh) 一种数据处理方法、穿戴设备和用于数据处理的装置
US20170365249A1 (en) System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector
KR20150018727A (ko) 청각 기기의 저전력 운용 방법 및 장치
CN111432303A (zh) 单耳耳机、智能电子设备、方法和计算机可读介质
US9826303B2 (en) Portable terminal and portable terminal system
US11144130B2 (en) Information processing apparatus, information processing system, and information processing method
KR101747874B1 (ko) 자동 통역 시스템
US20190132895A1 (en) Multi-connection device and multi-connection method
KR102223653B1 (ko) 음성 신호 처리 장치 및 방법, 그리고 단말
US10298736B2 (en) Apparatus and method for processing voice signal and terminal
JP2016144134A (ja) 音声解析装置、音声解析システムおよびプログラム
US20220095063A1 (en) Method for operating a hearing device and hearing system
KR100724888B1 (ko) 무선통신 모듈을 구비한 이동통신 단말기 및 이동통신단말기의 사운드 출력 제어방법
KR101672942B1 (ko) 히어링 디바이스의 청력 향상 기능 설정 방법 및 청력 향상 기능을 가진 히어링 디바이스
JP2013140534A (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013164468A (ja) 音声解析装置、音声解析システムおよびプログラム
WO2022254834A1 (ja) 信号処理装置、信号処理方法およびプログラム
KR101817774B1 (ko) 유입 신호 조절 구조의 보청기
KR20210115970A (ko) 전자 장치 및 이를 이용한 오디오 신호 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)