KR20110021439A - 음성 스트림 변환 장치 및 방법 - Google Patents

음성 스트림 변환 장치 및 방법 Download PDF

Info

Publication number
KR20110021439A
KR20110021439A KR1020090079237A KR20090079237A KR20110021439A KR 20110021439 A KR20110021439 A KR 20110021439A KR 1020090079237 A KR1020090079237 A KR 1020090079237A KR 20090079237 A KR20090079237 A KR 20090079237A KR 20110021439 A KR20110021439 A KR 20110021439A
Authority
KR
South Korea
Prior art keywords
voice
information
terminal
converting
feature parameter
Prior art date
Application number
KR1020090079237A
Other languages
English (en)
Inventor
이길호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090079237A priority Critical patent/KR20110021439A/ko
Publication of KR20110021439A publication Critical patent/KR20110021439A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

단말기로 수신된 음성 정보로부터 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하고, 상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산한 후, 상기 계산된 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 음성 스트림 변환 장치를 제공한다.
음성 번역, 통역, LPC, MFCC

Description

음성 스트림 변환 장치 및 방법{APPARATUS AND METHOD FOR TRANSFORMATION VOICE STREAM}
본 발명의 실시예들은 음성 스트림 변환 장치 및 방법에 관한 것이다.
지구상에는 수많은 인종과 언어가 존재하며, 오늘날과 같이 세계와 시대에는 서로 다른 언어를 가진 사람들끼리 의사 소통을 하기 위해서는 상대방의 언어에 대한 전문가가 아닌 이상, 상대방의 언어를 이해하는데 어려움이 있기 때문에 전문 통역사를 통하여 대화를 해야 한다.
그러나, 오늘날에는 전자, IT 등의 기술이 발달함에 따라 사람이 아닌 장치를 이용하여 서로의 언어를 번역하거나 통역하는 기술이 다양하게 개발 되고 있는 실정이다.
예를 들어, 통역 서비스를 제공하는 방법은 자동 통역 서버를 구비하여 사용자가 자동 통역 서버에 접속한 뒤 통역 서비스를 받는 방법, 사용자가 통신 사업자의 통역 서비스에 접속하여 동시 통역사를 선택 후 서비스를 받는 방법 등이 있다.
또한, 통역 서비스를 제공하는 방법으로 이동통신 단말 장치 내부에 자동 통역을 위한 모듈을 내장하여 사용자에게 서비스를 제공하는 방법, 독립적인 휴대형 단말기가 이동통신 단말 장치와의 연결을 통해 자동 통역을 수행하며 단말기로부터 음성신호를 전달받아 이를 음성 인식하여 제공하는 방법 등이 있다.
하지만, 상기와 같은 경우에는 자동 통역을 위한 자원을 음성 통신, 또는 데이터 통신을 위한 자원과의 공유를 해야만 하고, 기존 통신 단말 장치는 자동 통역을 수행하기에 적합한 형태가 되지 못 할 뿐만 아니라, 음성 복원 후 다시 음성 인식 특징 추출의 과정을 거치게 되어 많은 연산량이 발생할 수 있다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치는 단말기로 수신된 음성 정보로부터 음성 패킷을 추출하는 제1 추출부, 상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하는 제2 추출부, 상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산하는 연산부 및 상기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 제3 추출부를 포함한다.
또한, 본 발명의 일실시예에 따른 음성 통역 단말기는 음성 정보를 수신하는 음성 입력부, 상기 음성 정보의 음성 패킷을 추출하여 음성 특징 파라미터로 변환하는 음성 스트림 변환부, 상기 변환된 음성 특징 파라미터를 이용하여 문자 정보로 변환하는 음성 인식부, 상기 문자 정보를 기설정된 설정 정보에 따른 언어로 자동으로 변환하는 번역부 및 상기 변환된 문자 정보를 다시 번역 음성 정보로 변환하는 음성 합성부를 포함한다.
또한, 본 발명의 일실시예에 따른 음성 스트림 변환 방법은 단말기로 수신된 음성 정보로부터 음성 패킷을 추출하는 단계, 상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하는 단계, 상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산하는 단계 및 상기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 음성 통역 단말기를 제어하는 방법은 음성 정보를 수신하는 단계, 상기 음성 정보의 음성 패킷을 추출하여 음성 특징 파라미 터로 변환하는 단계, 상기 변환된 음성 특징 파라미터를 이용하여 문자 정보로 변환하는 단계, 상기 문자 정보를 기설정된 설정 정보에 따른 언어로 자동으로 변환하는 단계 및 상기 변환된 문자 정보를 다시 번역 음성 정보로 변환하는 단계를 포함한다.
본 발명의 일실시예에 따르면 음성 통신용 특징 파라미터를 음성 인식용 특징 파라미터로의 변환을 통해 연산량을 줄임으로써, 사용자에게 통역에 대하여 빠른 응답 시간을 제공할 수 있다.
또한,　본 발명의 일실시예에 따르면 이동 통신망 또는 인터넷 등과 같은 통신망을 이용한 이종 언어 사용자간의 통화에서 음성 패킷 정보로부터 직접 음성 인식 파라미터를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 음성 통역 단말기는 사용자가 통화 통역 서비스를 제공 받는데 있어서, 통신 사업자의 부가 서비스를 사용할 필요 없이 음성 통화 서비스만을 사용할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기를 이동 통신망에 적용한 예이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기(120)는 PC 등과 같은 외부 장치와 통신할 수 있는 접속 단자를 구비할 수 있으며, 상기 접속 단자를 이용하여 이동 통신 단말 장치(110) 등과 연결하여 서로 데이터를 송수신할 수 있다.
이때, 본 발명의 일실시예에 따르면 이동 통신 단말 장치(110)는 화자간의 통화를 위한 매개체가 되어 통신 기능을 담당하며, 음성 통역 단말기(120)는 통역 기능을 담당한다. 또한, 본 발명의 일실시예에 따르면 음성 통역 단말기(120)와 이동 통신 단말기(110)와의 연결은 블루투스와 같은 무선 연결 방법도 적용 가능하다.
도 2는 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기를 근거리 통신망에 적용한 예이다.　
도 2를 참조하면, 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기(220)는 자체적으로 유무선 이더넷 모듈을 포함할 수 있어, 기 축된 근거리 통신망 장치(210)에 접속할 수도 있다.
이때, 본 발명의 일실시예에 따른 음성 통역 단말기(220)를 사용하는 송신자는 수신자의 IP를 입력하면, 유무선 이더넷 모듈은 그에 대응하는 통신망을 통하여 해당 IP를 찾게 되며, 수신자는 해당 IP를 통하여 상기 송신자와 통화 할 수 있다.
즉, 본 발명의 일실시예에 따르면 사용자 간의 모든 통신 작업은 음성 통역 단말기(220)를 통하여 수행되므로, 별도의 통신 사업자를 통하여 접속 서비스를 받을 필요가 없다.
아래에서, 본 발명의 일실시예에 따른 음성 통역 단말기의 통역 기능을 가능하게 하는 음성 스트림 변환 장치를 보다 상세하게 설명하고자 한다.
도 3은 본 발명의 일실시예에 따른 음성 스트림 변환 장치의 구성을 도시한 블록도이다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치의 설명을 용이하게 하기 위하여 음성 통신에 사용하는 음성 특징 파라미터(음성 통신용 특징 파라미터) 및 음성 인식에 사용되는 음성 특징 파라미터(음성 인식용 특징 파라미터)를 각각 LPC(Linear Predictive Coding) 및 MFCC(Mel Frequency Cepstral Coefficients)로 가정하여 설명하도록 한다.
이때, 상기 LPC(Linear Predictive Coding) 추출법은 모든 주파수 대역에 동일하게 비중을 두어 분석하며, 상기 MFCC(Mel Frequency Cepstral Coefficients) 추출법은 사람의 음성 인지 양상이 선형적이지 않고 로그 스케일과 비슷한 멜 스케일을 따른다는 특성을 반영하여 음성 인식용 특징 파라미터를 추출하는 방식이다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치는 제1 추출부(310), 제2 추출부(320), 연산부(330) 및 제3 추출부(340)로 구성되며, 상기 장치를 이용하여 음성 스트림을 변환하는 방법을 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 음성 스트림 변환 방법을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 음성 스트림 변환 장치의 제1 추출부(310)는 단말기로 수신된 음성 정보로부터 음성 패킷을 추출한다(410).
이때, 본 발명의 일실시예에 따르면, 상기 단말기는 전술한 바와 같이 이동 통신 단말기 또는 인터넷 통신 단말기 등 다양한 종류의 단말기 일 수 있으며, 이동 통신 단말기의 경우에는 이동 통신망을 통하여 상기 음성 스트림 변환 방법을 제공할 수 있으며, 인터넷 통신 단말기의 경우에는 IP 검색 등을 통하여 인터넷 통신망을 통하여 상기 음성 스트림 변환 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치의 제2 추출부(320)는 상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출한다(420). 이때, 본 발명의 일실시예에 따르면 제2 추출부(320)는, 상기 음성 패킷으로부터 상기 음성 통신용 특징 파라미터로 LPC(Linear Predictive Coding) 정보를 추출할 수 있다.
본 발명의 일실시예에 따르면 LPC 정보를 사용하는 CELP(Code Excitation Linear Prediction) 타입의 음성 코덱을 기초로 하며, LPC 정보를 사용하지 않는 음성 코덱의 경우에도 음성 부호화, 인식 기술에 통상의 지식이 가진 자이라면 다양한 코덱을 응용할 수 있을 것이다.
예를 들어, 본 발명의 일실시예에 따른 제2 추출부(320)는 음성 패킷의 비트 스트림에서 LPC 정보만 추출하는데 있어서, CDMA에서 사용하는 IS-95 코덱의 경우 Qualcomm variable rate CELP (QCELP) 코덱을 사용하는 바, QCELP의 경우 표 1과 같이 bit 할당이 될 수 있으나, 하기 표 1에 국한된 것은 아니다.
　
Figure 112009052351447-PAT00001
본 발명의 일실시예에 따르면 모든 bitrate에서 LPC 정보는 20ms 프레임마다 한번씩 전송이 될 수 있으며, 비트 스트림으로부터 프레임마다 전송되는 LPC 정보를 추출하여 LPC 응답 스펙트럼 계산에서 사용한다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치는 VoIP에서 사용되는 G.729의 경우 표 2와 같이 bit 할당이 될 수 있다.
Figure 112009052351447-PAT00002
이때, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 전송되는 비트 스트림으로부터 LPC 정보를 추출하여 LPC 응답 스펙트럼 계산에서 사용할 수 있다.
　또한, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 상기 두 코덱과 같이 CELP 타입의 음성 코덱은 LPC 정보를 음성 특징 파라미터로 사용할 수 있으며, 상기 LPC 정보는 음성 통신에는 적합하기는 하나, 음성 인식에는 상대적으로 성능이 좋은 MFCC를 사용하도록 한다. 즉, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 LPC 정보를 MFCC 정보로 변환하여 사용할 수 있다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치의 연산부(330)는 상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산한다(430).
본 발명의 일실시예에 따른 음성 스트림 변환 장치의 연산부(33)는, 상기 LPC 정보를 이용하여 필터를 구성하고, 상기 구성된 필터의 상기 응답 스펙트럼(X)을 하기 수학식 1을 통하여 계산할 수 있다.
[수학식 1]
Figure 112009052351447-PAT00003
이때, 본 발명의 일실시예에 따르면 상기 M은 상기 LPC 정보의 차수이며, 상기 N은 주파수 해석 차수이다.
도 5는 전송된 LPC 정보로부터 구한 응답 스펙트럼(lpc 라인)과 실제 음성에서의 주파수 응답 스펙트럼(fft 라인)의 비교 예이다.
본 발명의 일실시예에 따르면 유성음 구간에서는 도 5에 도시된 바와 같이 lpc 라인과 같이 음성의 포락선 형태(envelope)가 명확히 나타나며, 이 포락선 형태는 음성 신호로부터 직접 주파수 해석을 한 fft 라인과 비슷한 포락선을 나타낼 수 있다.
본 발명의 일실시예에 따른 음성 스트림 변환 장치의 제3 추출부(340)는 상 기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출한다(440).
이때, 본 발명의 일실시예에 따른 제3 추출부(340)는 상기 음성 스펙트럼에 멜(Mel) 필터 뱅크를 적용한다.
예를 들어, 본 발명의 일실시예에 따른 제3 추출부(340)는 상기 음성 스펙트럼에 음성 인식에 사용되고 있는 멜 필터 뱅크를 적용하여 각 필터의 에너지를 구하게 되는데, 이 값은 도 5에 도시된 fft 라인으로부터 구한 값과 크게 차이가 없어 음성 스트림으로부터 음성 신호를 복원한 후 다시 MFCC 정보를 추출할 필요 없이 파라미터 변환 만으로도 비슷한 성능을 갖게 할 수 있다.
따라서, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 불필요한 연산량을 줄일 수 있기 때문에 복원된 음성 신호를 이용하여 음성 인식 파라미터를 추출하는 데 있어서, 연산 속도를 빠르게 할 수 있다.
또한, 본 발명의 일실시예에 따른 제3 추출부(340)는 상기 멜 필터 뱅크가 적용된 상기 음성 스펙트럼의 값을 로그 스케일(Log Scale)로 변환하며, 상기 로그 스케일로 변환된 상기 음성 스펙트럼의 값으로부터 이산 코사인 변환을 수행하여 MFCC(Mel Frequency Cepstral Coefficients) 파라미터 형식의 음성 인식용 특징 파라미터를 추출할 수 있다.
또한, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 연결부(350)를 더 포함하고 있어, 상기 단말기의 외부 기기 연결 단자를 통하여 상기 음성 정보를 수신하거나, 상기 음성 정보에 대한 번역 음성 정보를 상기 단말기로 전송할 수 있다.
이렇듯, 본 발명의 일실시예에 따른 음성 스트림 변환 장치는 음성 패킷으로부터 추출된 음성 통신용 특징 파라미터를 음성 인식용 특징 파라미터로 변환하는 방법을 제공할 수 있는 바, 상기 음성 스트림 변환 장치를 포함하는 본 발명의 일실시예에 따른 음성 통역 단말기를 아래에서 설명하도록 한다.
도 6은 본 발명의 일실시예에 따른 음성 통역 단말기의 구성을 도시한 블록도이다.
본 발명의 일실시예에 따른 음성 통역 단말기는 크게 음성 입력부(601), 전술한 음성 스트림 변환 장치에 해당하는 음성 스트림 변환부(602), 음성 인식부(603), 번역부(604) 및 음성 합성부(605)로 구성되는 바, 상기 구성을 이용하여 음성 통역 단말기를 제어하는 방법을 도 7을 참조하여 설명하도록 한다.
도 7은 본 발명의 일실시예에 따른 음성 통역 단말기를 제어하는 방법을 도시한 흐름도이다.
본 발명의 일실시예에 따른 음성 입력부(601)는 음성 정보를 수신하고(710), 음성 스트림 변환부(602)는 상기 음성 정보의 음성 패킷을 추출하여 음성 특징 파라미터로 변환한다(720).
이때, 본 발명의 일실시예에 따른 음성 스트림 변환부(602)에 의한 음성 특징 파라미터의 변환 과정은 전술한 바와 동일하므로, 상세한 설명은 생략하도록 한다.
본 발명의 일실시예에 따른 음성 인식부(603)는 상기 변환된 음성 특징 파라미터를 이용하여 문자 정보로 변환하고(730), 번역부(604)는 상기 문자 정보를 기 설정된 설정 정보에 따른 언어로 자동으로 변환한다(740).
본 발명의 일실시예에 따른 음성 합성부(605)는 상기 변환된 문자 정보를 다시 번역 음성 정보로 변환함으로써, 번역 음성 정보를 사용자에게 제공할 수 있다(750).
또한, 본 발명의 일실시예에 따른 음성 통역 단말기는 상기 음성 정보, 상기 음성 패킷, 상기 음성 특징 파라미터, 상기 문자 정보, 상기 설정 정보 및 상기 번역 음성 정보를 저장하는 메모리(606), 상기 변환된 음성 정보를 출력하는 출력부(607), 상기 변환된 음성 정보를 통신망을 통하여 전송하도록 기설정된 음성 패킷으로 변환하는 인코더(608) 및 상기 음성 정보, 상기 음성 패킷, 상기 음성 특징 파라미터, 상기 문자 정보, 상기 설정 정보 및 상기 번역 음성 정보 중 어느 하나 이상을 디스플레이 하는 디스플레이부(609) 등이 더 구성될 수 있다.
또한, 본 발명의 일실시예에 따른 음성 통역 장치는 이동 통신망을 통하여 수신된 전화 번호에 대응하는 이동 통신 단말기에 접속하는 접속부(610)를 더 포함하고, 접속부(610)는, 인터넷을 통하여 상기 수신부로부터 수신된 IP에 대응하는 인터넷 통신 단말기에 접속할 수도 있다.
이하에서는 본 발명의 일실시예에 따른 음성 통역 단말기의 송수신 데이터 처리 방향에 따라 설명을 달리하도록 한다.
먼저, 본 발명의 일실시예에 따른 음성 통역 단말기의 수신 데이터 처리 흐름에 따라 음성 통역 서비스를 제공하는 과정을 설명하면 다음과 같다.
본 발명의 일실시예에 따른 음성 스트림 변환부(602)는 전술한 음성 스트림 변환 방법을 이용하여 음성 인식용 특징 파라미터를 생성한다.
또한, 본 발명의 일실시예에 따른 음성 인식부(603)은 음성 패킷 디코더를 통해 전송된 음성 정보를 메모리(606)에 저장된 사용자의 언어 모델을 이용하여 문자 정보로 변환한다.
이때, 본 발명의 일실시예에 따르면 변환된 문자 정보는 번역부(604)에 전달되고, 사용자에게 인식 결과를 인지시키기 위해 디스플레이부(609)에 전달되어 디스플레이 된다.
본 발명의 일실시예에 따르면 사용자에게 상대방 음성 인식 결과를 인지시킴으로써 상대방 언어에 대한 지식이 다소 있는 사용자라면 보다 효율적인 통화를 꾀할 수 있으며, 인식 결과는 메모리(606)에도 저장되어 사후 통역 내역에 대한 정보 확인으로 사용될 수 있다.
　또한, 본 발명의 일실시예에 따른 번역부(604)은 변환된 사용자 언어의 문자 정보를 상대방 언어의 문자로 변환하는 기능을 담당하는데, 언어 변환 모델은 메모리(606)에 저장되어 있으며, 번역부(604)는 저장된 언어 변환 모델의 정보를 인지하여 언어 번역 쌍을 자동으로 결정할 수 있다.
이때, 본 발명의 일실시예에 따르면 변환된 문자 정보는 음성 합성부(605)에 전달되고, 사용자에게 번역 결과를 인지시키기 위해 디스플레이부(609)에 전달되어 디스플레이 되며, 번역 결과 역시, 메모리(606)에 저장되어 사후 통역 내역에 대한 정보 확인으로 사용될 수 있다.
　또한, 본 발명의 일실시예에 따른 음성 합성부(605)는 번역된 문자 정보를 메모리(606)에 저장된 음성 합성 모델을 이용하여 상대방 언어로 음성 신호를 생성하는 기능을 담당하는 바, 합성된 음성 신호는 사용자의 인지를 위해 음성 출력부로 전달되어 송출 되고, 합성 결과는 역시, 메모리(606)에 저장되어 사후 통역 내역에 대한 정보 확인으로 사용될 수 있다.
　이때, 본 발명의 일실시예에 따른 음성 출력부는 합성 결과를 사용자에게 인지시키기 위한 출력을 담당하는 바, 예를 들어, 내장 스피커 또는 이어폰 단자, 무선 스피커 모듈 등의 다양한 모듈로 구성될 수 있다.
다음으로, 본 발명의 일실시예에 따른 음성 통역 단말기의 송신 데이터 처리 흐름에 따라 음성 통역 서비스를 제공하는 과정을 설명하면 다음과 같다.
본 발명의 일실시예에 따른 음성 입력부(601)는 마이크 등을 구비하여 사용자의 음성을 입력 받아 음성 특징 추출부에 전달된다. 이때, 본 발명의 일실시예에 따른 음성 특징 추출부는 사용자 음성으로부터 음성 인식용 특징 파라미터를 추출한다.
　전술한 바와 같이, 본 발명의 일실시예에 따른 음성 스트림 변환 장치에 의하여 추출된 음성 인식용 특징 파라미터는 음성 인식부(603), 번역부(604), 음성 합성부(605)을 통해 상대방 언어의 음성 정보로 변환되고 각 모듈의 결과는 디스플레이부(609)를 통하여 디스플레이 될 수 있다.
이때, 본 발명의 일실시예에 따르면 상대방 언어로 변환된 음성 정보는 인코더(608)로 전달된다.
　본 발명의 일실시예에 따른 인코더(608)는 상대방 언어로 변환된 음성 신호 를 음성 패킷으로의 부호화 기능을 담당하는 바, 이동 통신망에서 사용하는 음성 패킷 인코더 및 VoIP를 이용하기 위한 음성 패킷 인코더를 각각 구성할 수도 있다.
아래에서는 도 8을 참조하여 음성 통역 단말기를 설정하는 과정부터 통역 결과 제어 과정까지의 음성 통역 단말기 제어 방법을 설명하도록 한다.
도 8은 본 발명의 다른 실시예에 따른 음성 통역 단말기를 제어하는 방법을 도시한 흐름도이다.
본 발명의 일실시예에 따른 음성 통역 단말기 사용자는 통역에 필요한 각종 정보가 저장된 메모리(606)로부터 데이터를 읽어 단말 장치의 초기화한다. 본 발명의 일실시예에 따른 메모리(606)에는 사용자에게 맞춰진 통역 서비스에 필요한 각종 정보를 저장하고 있다.
본 발명의 일실시예에 따른 음성 통역 단말기의 메모리(606)는 통역 대상 언어, 통역 카테고리 등 사용자가 원하는 정보가 저정되어 있어, 사용자는 원하는 정보가 저장된 메모리(606)를 통하여 원하는 서비스를 제공 받을 수 있다.
예를 들어, 본 발명의 일실시예에 따르면 메모리 카드에 저장된 정보로는 음성 인식 모델, 자동 번역 모델, 음성 합성 모델 등이 포함되며, 각 모델을 통해 사용자의 언어와 상대방의 언어 등 통역에 필요한 정보를 자동으로 설정할 수 있다(810).
본 발명의 일실시예에 따른 음성 통역 단말기는 통신 모드에 따라 자동으로 통신 방법을 설정할 수 있다. 또한 본 발명의 음성 통역 단말기는 사용자로부터 통화 대상자에 대한 접속 정보를 입력 받아 이동 통신 단말 장치와 연결이 되면 자 동으로 이동 통신망 사용 모드로 설정하거나, 근거리 통신망과 연결이 되면 근거리 통신망 사용 모드로 설정되도록 제어 할 수도 있다.
이때, 본 발명의 일실시예에 따른 음성 통역 단말기는 연결 진행 상황, 연결 상태 등의 접속 정보를 디스플레이부(609)를 통하여 사용자에게 제공할 수 있으면, 사용자는 키패드 및 디스플레이를 통해 상대방의 전화번호(이동 통신망 모드) 또는 IP(근거리 통신망 모드)를 입력하여 통화 정보를 설정할 수도 있다(820).
　본 발명의 일실시예에 따른 음성 통역 단말기는 설정된 통화 정보에 따라 상대방 휴대용 통역 단말 장치와의 통신 접속을 시도하며 사용자는 디스플레이를 통해 상황을 인지할 수 있다(830).
　본 발명의 일실시예에 따른 음성 통역 단말기는 통신망을 통해 전송된 음성 패킷의 복호화 및 단말 장치의 음성 입력부(601)를 제어한다(840).
　본 발명의 일실시예에 따른 음성 통역 단말기는 음성 신호를 사용자의 언어 또는 상대방의 언어로 통역한다(850).
　본 발명의 일실시예에 따른 음성 통역 단말기는 통역된 결과 중 문자 정보를 디스플레이부(609)를 통해 사용자에게 제공하고, 음성 신호를 출력부(607)를 통해 사용자에게 인지시키거나 음성 패킷으로 변환하여 상대방에게 전송한다(860).
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기를 이동 통신망에 적용한 예이다.
도 2는 본 발명의 일실시예에 따른 음성 스트림 변환 장치가 포함된 음성 통역 단말기를 근거리 통신망에 적용한 예이다.　
도 3은 본 발명의 일실시예에 따른 음성 스트림 변환 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 음성 스트림 변환 방법을 도시한 흐름도이다.
도 5는 전송된 LPC 정보로부터 구한 응답 스펙트럼(lpc 라인)과 실제 음성에서의 주파수 응답 스펙트럼(fft 라인)의 비교 예이다.
도 6은 본 발명의 일실시예에 따른 음성 통역 단말기의 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 음성 통역 단말기를 제어하는 방법을 도시한 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 음성 통역 단말기를 제어하는 방법을 도시한 흐름도이다.

Claims (12)

  1. 단말기로 수신된 음성 정보로부터 음성 패킷을 추출하는 제1 추출부;
    상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하는 제2 추출부;
    상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산하는 연산부; 및
    상기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 제3 추출부
    를 포함하는 음성 스트림 변환 장치.
  2. 제1항에 있어서,
    상기 단말기는,
    이동 통신 단말기 또는 인터넷 통신 단말기 중 어느 하나인 음성 스트림 변환 장치.
  3. 제1항에 있어서,
    상기 제2 추출부는,
    상기 음성 패킷으로부터 상기 음성 통신용 특징 파라미터로 LPC(Linear Predictive Coding) 정보를 추출하는 음성 스트림 변환 장치.
  4. 제3항에 있어서,
    상기 연산부는,
    상기 LPC 정보를 이용하여 필터를 구성하고, 상기 구성된 필터의 상기 응답 스펙트럼(X)을 하기 수학식 1을 통하여 계산하는 음성 스트림 변환 장치.
    [수학식 1]
    Figure 112009052351447-PAT00004
    (상기 M은 상기 LPC 정보의 차수이며, 상기 N은 주파수 해석 차수임.)
  5. 제1항에 있어서,
    상기 제3 추출부는,
    상기 음성 스펙트럼에 멜(Mel) 필터 뱅크를 적용하고, 상기 멜 필터 뱅크가 적용된 상기 음성 스펙트럼의 값을 로그 스케일(Log Scale)로 변환하며, 상기 로그 스케일로 변환된 상기 음성 스펙트럼의 값으로부터 이산 코사인 변환을 수행하여 MFCC(Mel Frequency Cepstral Coefficients) 파라미터 형식의 음성 인식용 특징 파라미터를 추출하는 음성 스트림 변환 장치.
  6. 제1항에 있어서,　
    상기 단말기의 외부 기기 연결 단자를 통하여 상기 음성 정보를 수신하거나, 상기 음성 정보에 대한 번역 음성 정보를 상기 단말기로 전송하는 연결부
    를 더 포함하는 음성 스트림 변환 장치.
  7. 음성 정보를 수신하는 음성 입력부;
    상기 음성 정보의 음성 패킷을 추출하여 음성 특징 파라미터로 변환하는 음성 스트림 변환부;
    상기 변환된 음성 특징 파라미터를 이용하여 문자 정보로 변환하는 음성 인식부;
    상기 문자 정보를 기설정된 설정 정보에 따른 언어로 자동으로 변환하는 번역부; 및
    상기 변환된 문자 정보를 다시 번역 음성 정보로 변환하는 음성 합성부
    를 포함하는 음성 통역 단말기.
  8. 제7항에 있어서,
    상기 음성 스트림 변환부는,
    단말기로 수신된 음성 정보로부터 음성 패킷을 추출하는 제1 추출부;
    상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하는 제2 추출부;
    상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산하는 연산부; 및
    상기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 제3 추출부
    를 포함하는 음성 통역 단말기.
  9. 제7항에 있어서,
    상기 음성 정보, 상기 음성 패킷, 상기 음성 특징 파라미터, 상기 문자 정보, 상기 설정 정보 및 상기 번역 음성 정보를 저장하는 메모리;
    상기 변환된 음성 정보를 출력하는 출력부;
    상기 변환된 음성 정보를 통신망을 통하여 전송하도록 기설정된 음성 패킷으로 변환하는 인코더; 및
    상기 음성 정보, 상기 음성 패킷, 상기 음성 특징 파라미터, 상기 문자 정보, 상기 설정 정보 및 상기 번역 음성 정보 중 어느 하나 이상을 디스플레이 하는 디스플레이부
    를 더 포함하는 음성 통역 단말기.
  10. 제7항에 있어서,
    이동 통신망을 통하여 수신된 전화 번호에 대응하는 이동 통신 단말기에 접 속하는 접속부를 더 포함하고,
    상기 접속부는,
    인터넷을 통하여 수신된 IP에 대응하는 인터넷 통신 단말기에 접속하는 음성 통역 단말기.
  11. 단말기로 수신된 음성 정보로부터 음성 패킷을 추출하는 단계;
    상기 추출된 음성 패킷으로부터 음성 통신용 특징 파라미터를 추출하는 단계;
    상기 음성 통신용 특징 파라미터로부터 음성 스펙트럼을 계산하는 단계; 및
    상기 음성 스펙트럼을 통하여 음성 인식용 특징 파라미터를 추출하는 단계
    를 포함하는 음성 스트림 변환 방법.
  12. 음성 정보를 수신하는 단계;
    상기 음성 정보의 음성 패킷을 추출하여 음성 특징 파라미터로 변환하는 단계;
    상기 변환된 음성 특징 파라미터를 이용하여 문자 정보로 변환하는 단계;
    상기 문자 정보를 기설정된 설정 정보에 따른 언어로 자동으로 변환하는 단계; 및
    상기 변환된 문자 정보를 다시 번역 음성 정보로 변환하는 단계
    를 포함하는 음성 통역 단말기를 제어하는 방법.
KR1020090079237A 2009-08-26 2009-08-26 음성 스트림 변환 장치 및 방법 KR20110021439A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090079237A KR20110021439A (ko) 2009-08-26 2009-08-26 음성 스트림 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090079237A KR20110021439A (ko) 2009-08-26 2009-08-26 음성 스트림 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110021439A true KR20110021439A (ko) 2011-03-04

Family

ID=43930334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090079237A KR20110021439A (ko) 2009-08-26 2009-08-26 음성 스트림 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110021439A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120103436A (ko) * 2011-03-11 2012-09-19 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 비일시적인 컴퓨터 판독 가능한 매체, 및 화상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120103436A (ko) * 2011-03-11 2012-09-19 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 비일시적인 컴퓨터 판독 가능한 매체, 및 화상 처리 방법

Similar Documents

Publication Publication Date Title
US9251142B2 (en) Mobile speech-to-speech interpretation system
JP5598998B2 (ja) 音声翻訳システム、第一端末装置、音声認識サーバ装置、翻訳サーバ装置、および音声合成サーバ装置
KR100819928B1 (ko) 휴대 단말기의 음성 인식장치 및 그 방법
JP5967569B2 (ja) 音声処理システム
US9786284B2 (en) Dual-band speech encoding and estimating a narrowband speech feature from a wideband speech feature
JP2023022150A (ja) 双方向音声翻訳システム、双方向音声翻訳方法及びプログラム
EP1632934B1 (en) Baseband modem and method for speech recognition and mobile communication terminal using the same
WO2008084476A2 (en) Vowel recognition system and method in speech to text applications
KR20010006401A (ko) 보코더에 기초를 둔 음성인식기
Cohen Embedded speech recognition applications in mobile phones: Status, trends, and challenges
TW200301883A (en) Voice recognition system method and apparatus
RU2333546C2 (ru) Устройство и способ речевой модуляции
TW200304638A (en) Network-accessible speaker-dependent voice models of multiple persons
US20030135371A1 (en) Voice recognition system method and apparatus
EP2541544A1 (en) Voice sample tagging
KR20110021439A (ko) 음성 스트림 변환 장치 및 방법
US20030065512A1 (en) Communication device and a method for transmitting and receiving of natural speech
KR101165906B1 (ko) 음성-텍스트 변환 중계 장치 및 그 제어방법
WO2008001991A1 (en) Apparatus and method for extracting noise-robust speech recognition vector by sharing preprocessing step used in speech coding
KR100494873B1 (ko) 범용 디에스피칩을 이용한 멀티 음성신호처리의 이동통신단말기 및 그를 활용한 음성신호 처리 방법
Mohan Voice enabled request and response for mobile devices supporting WAP protocol: the constraints
CN116611457A (zh) 一种基于手机的实时传译方法和设备
JP2000151827A (ja) 電話音声認識システム
KR100923641B1 (ko) 음성 인식에 따른 멀티미디어 효과 기능을 가지는 ＶｏＩＰ폰, 이를 포함하는 전화 통신 시스템, 및 그 전화 통신방법
Di Fabbrizio et al. Speech Mashups

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment