KR20100003574A - 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법 - Google Patents

음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법 Download PDF

Info

Publication number
KR20100003574A
KR20100003574A KR1020080063539A KR20080063539A KR20100003574A KR 20100003574 A KR20100003574 A KR 20100003574A KR 1020080063539 A KR1020080063539 A KR 1020080063539A KR 20080063539 A KR20080063539 A KR 20080063539A KR 20100003574 A KR20100003574 A KR 20100003574A
Authority
KR
South Korea
Prior art keywords
sound source
source information
voice
unit
sound
Prior art date
Application number
KR1020080063539A
Other languages
English (en)
Inventor
김철하
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080063539A priority Critical patent/KR20100003574A/ko
Publication of KR20100003574A publication Critical patent/KR20100003574A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018—Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Abstract

본 발명은 음악 파일의 음원정보를 음악 파일 내에서 음성으로 제공하기 위하여 텍스트 형식의 음원정보를 음성음원정보로 변환하는 장치 및 시스템, 그리고 이를 이용하여 음성음원정보를 생성하는 방법에 관한 것이다. 본 발명은 텍스트 기반의 음원정보를 음성음원정보로 변환하기 위해 필요한 음성데이터를 서버(20)로부터 수신받는 인터페이스부(19)와; 음원정보가 저장되는 메모리부(11)와; 상기 메모리부(11)에 저장된 음원정보를 복수의 음단위로 분류하고 그에 대응되는 단위음성을 상기 인터페이스부(19)를 통하여 수신하는 언어처리부(13)와; 상기 언어처리부(13)에 의하여 수신된 단위음성 각각에 대하여 운율을 적용하는 운율제어부(15); 그리고 상기 운율제어부(15)에 의해 운율이 적용된 각각의 단위음성을 합성하여 음성음원정보를 생성하는 음성생성부(17)를 포함하여 구성된다. 이와 같은 본 발명에 의하면 텍스트 형식의 음원정보를 음성으로 변환하여 제공받음으로써 사용상 편리성이 증대되고, 서버로부터 음성음원정보 자체 또는 고음질의 다양한 단위음성을 제공받을 수 있으므로 보다 양질의 음성음원정보를 생성할 수 있다는 장점이 있다.
TTS, 음원정보, 후지사키 모델

Description

음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한 음성음원정보 생성 방법{APPRATUS, SYSTEM AND METHOD FOR GENERATING PHONETIC SOUND-SOURCE INFORMATION}
본 발명은 음악 파일의 음원정보를 음악 파일 내에서 음성으로 제공하기 위하여 텍스트 형식의 음원정보를 음성음원정보로 변환하는 장치 및 시스템, 그리고 이를 이용하여 음성음원정보를 생성하는 방법에 관한 것이다.
엠피쓰리(MP3)와 같은 음악 파일에는 해당 음악에 대한 정보가 포함되는데, 일반적으로 음악 파일 내에 아이디쓰리태그(ID3 tag)를 이용하여 곡명, 저작자, 장르, 앨범명 등의 정보를 텍스트 형식으로 음악 파일 내에 포함시킨다. 나아가 최근에는 ID3v2 태그라는 ID3 태그의 변형판도 등장하여 음원정보를 제공하는데 사용되고 있다.
그러나 ID3v2는 태그 내에 포함할 수 있는 문자, 숫자의 제한을 없애고, 유니코드에 대응하기 위하여 확장을 지속한 결과, ID3v2 태그를 갖는 MP3 데이터는 그 대응 플레이어로만 재생할 수 있게 되었다는 문제점이 발생하였다.
한편 ID3 또는 ID3v2 태그를 이용하여 재생되는 음악 파일의 음원정보를 제 공받는 경우에도, 음원정보가 텍스트 형식으로 제공되기 때문에, 플레이어를 가방이나 주머니에 소지하고 있는 경우 음원정보를 보기 위해서는 반드시 플레이어를 꺼내서 디스플레이 화면을 확인해야한다는 불편이 있었다. 또한 운전중이거나 운동을 하고 있는 경우와 같이 쉽게 디스플레이 화면을 확인할 수 없는 경우 그러한 불편이 가중되었다.
이에 따라 최근에는 단말기에 TTS(Text-To-Speech) 기능을 탑재하여 음원정보를 음성으로 변환하여 재생하여 주도록 하는 기능이 단말기 또는 단말기에 음원을 제공하는 서버나 컴퓨터 등에서 구현되고 있다.
그러나 한글에 대한 음성을 출력할 때에는 음소, 음절 등의 연결시 상호 조음현상의 처리 및 자연스러운 운율처리 등이 미흡하여 서비스의 질이 매우 낮다는 단점이 있었다.
또한 단말기에서 TTS 기능을 구현하는 경우, 단말기의 저장용량의 제한 때문에 음원정보를 음성으로 변환하는데 사용되는 단위음성의 질과 양에 한계가 있어 자연스러운 음성정보를 생성하기 어렵다는 문제점이 있었다.
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 텍스트 형식의 음원정보를 오디오 형식의 정보로 변환하여 제공하는 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한 음성음원정보 생성 방법을 제공하는 것이다.
본 발명의 다른 목적은 음원정보를 보다 자연스러운 양질의 음성으로 구현할 수 있는 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한 음성음원정보 생성 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 텍스트 기반의 음원정보를 음성음원정보로 변환하기 위해 필요한 데이터를 서버로부터 수신받는 인터페이스부와; 음원정보가 저장되는 메모리부와; 상기 메모리부에 저장된 음원정보를 복수의 음단위로 분류하고 그에 대응되는 단위음성을 상기 인터페이스부를 통하여 수신하는 언어처리부와; 상기 언어처리부에 의하여 수신된 단위음성 각각에 대하여 운율을 적용하는 운율제어부; 그리고 상기 운율제어부에 의해 운율이 적용된 각각의 단위음성을 합성하여 음성음원정보를 생성하는 음성생성부를 포함하여 구성된다.
상기 언어처리부는, 상기 메모리부에 저장된 음원정보를 복수의 음단위로 분류하기에 앞서, 상기 음원정보에 대응되는 음성음원정보를 상기 인터페이스부를 통 하여 상기 서버에 요청할 수 있다.
그리고 상기 음성생성부는, 상기 음성음원정보를 해당 음원에 합성하여 하나의 음악파일을 생성할 수 있다.
또한 상기 언어처리부는, 상기 음원정보를 상기 음원정보에 포함된 텍스트에 대한 형태소 구분, 구문분석 및 의미해석을 기반으로 복수의 음단위로 분류할 수 있다.
그리고 상기 운율제어부는, 후지사키 모델을 이용하여 기본 주파수 피치 패턴을 생성할 수 있다.
한편 본 발명은, 텍스트 기반의 음원정보에 대응되는 음성음원정보가 저장되는 제1데이터베이스와; 형태소 구분, 구문분석 및 의미해석을 기반으로 분류한 단위음성이 저장되는 제2데이터베이스가 저장된 서버와: 상기 서버와 통신연결 가능한 인터페이스부와; 음원정보를 복수의 음단위로 분류하고 그에 대응되는 단위음성을 상기 제2데이터베이스로부터 수신하는 언어처리부와; 상기 언어처리부에 의하여 수신된 단위음성 각각에 대하여 운율을 적용하는 운율제어부; 그리고 상기 운율제어부에 의해 운율이 적용된 각각의 단위음성을 합성하여 음성음원정보를 생성하는 음성생성부를 포함하는 음성음원정보 생성 장치를 포함하여 구성될 수 있다.
이때 상기 언어처리부는, 상기 음원정보를 복수의 음단위로 분류하기에 앞서, 상기 제1데이터베이스에 저장된 상기 음원정보에 대응되는 음성음원정보를 상기 서버에 요청할 수 있다.
또한 상기 음성생성부는, 상기 음성음원정보를 해당 음원에 합성하여 하나의 음악파일을 생성할 수 있다.
한편 본 발명은, (A)텍스트 형식의 음원정보를 음성음원정보로 변환하는 명령이 입력되는 단계와; (B)해당 음원정보에 포함된 텍스트를 서버로 전송하는 단계와; (C)상기 서버에서 상기 음원정보에 대응되는 음성음원정보를 검색하는 단계;그리고 (D)상기 (C)단계에서 상기 음원정보에 대응되는 음성음원정보가 검색되지 않은 경우, 복수의 단위음성을 합성하여 상기 음원정보를 음성음원정보로 변환하는 단계를 포함하여 수행될 수 있다.
이때 상기 음성음원정보 생성 방법은, (E)상기 (D)단계에서 변환된 상기 음성음원정보를 그에 대응되는 음원에 합성하는 단계를 더 포함하여 수행될 수 있다.
그리고 상기 음성음원정보 생성 방법은, (F)상기 (C)단계에서 상기 음원정보에 대응되는 음성음원정보가 검색된 경우, 검색된 음성음원정보를 서버로부터 다운로드하여, 그에 대응되는 음원에 합성하는 단계를 포함하여 수행될 수도 있다.
또한 상기 (D)단계는, (D1) 상기 음원정보에 포함된 텍스트를 발음기호열로 변환하고, 이를 복수의 음단위로 분류하는 단계와; (D2) 상기 (D1)단계에서 분류된 복수의 음단위에 대한 오디오 데이터인 단위음성을 상기 서버에 요청하는 단계와; (D3) 상기 서버로부터 요청된 단위음성을 수신하는 단계와; (D4) 수신된 단위음성 각각에 대하여 운율을 적용하는 단계; 그리고 (D5) 운율 적용된 단위음성을 합성하여 음성음원정보를 생성하는 단계를 포함하여 수행될 수도 있다.
이때 상기 (D1) 단계에서는, 상기 음원정보에 포함된 텍스트를 형태소 구분, 구문분석 및 의미해석하여 음운변동을 적용하고 복수의 음단위로 분류할 수 있다.
그리고 상기 (D4) 단계는, 후지사키 모델을 이용하여 기본 주파수 피치 패턴을 생성하는 단계를 포함하여 수행될 수 있다.
이상에서 상세히 설명한 바와 같이 본 발명에 의한 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한 음성음원정보 생성 방법에 의하면 다음과 같은 효과를 기대할 수 있다.
즉, 텍스트 형식의 음원정보를 음성으로 변환하여 제공받음으로써 사용상 편리성이 증대된다는 장점이 있다.
또한 본 발명에 따른 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한 음성음원정보 생성 방법에 의하면, 서버로부터 음성음원정보 자체 또는 고음질의 다양한 단위음성을 제공받을 수 있으므로 보다 양질의 음성음원정보를 생성할 수 있다는 장점이 있다.
이하에서는 상기한 바와 같은 본 발명에 의한 음성음원정보 생성 장치 및 시스템의 구체적인 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.
도 1은 본 발명의 구체적인 실시예에 의한 음성음원정보 생성 시스템을 개략적으로 도시한 블럭도이다.
도 1에 도시된 바와 같이 본 발명은 우선 음성음원정보 생성 장치(10)를 포함한다. 상기 음성음원정보 생성 장치(10)에 의해 생성되는 상기 음성음원정보는 일반적으로 텍스트 형식으로 제공되던 음원의 제목, 장르, 음원에 대한 저작자명, 가수명, 음원이 포함된 앨범명 등을 오디오 데이터로 변환한 것을 말한다.
그리고 상기 음성음원정보 생성 장치(10)는 개인용 단말기로서 퍼스널 컴퓨터나 휴대폰, MP3 플레이어, PDA, 전자사전 등과 같은 휴대 단말기도 될 수 있다.
상기 음성음원정보 생성 장치(10)는 우선 메모리부(11)를 포함한다. 상기 메모리부(11)는 통상의 저장수단 또는 기억수단으로서 상기 음성음원정보 생성 장치(10)가 퍼스널 컴퓨터에 해당하는 경우, 주기억장치 또는 보조기억장치이거나, 양자를 포함할 수도 있다. 또한 일반 단말기에서의 내부 또는 외부 저장매체가 될 수 있다.
상기 메모리부(11)에는 mp3, wma, mid 등 각종 형식의 음악 파일이 저장된다. 그리고 상기 음악 파일에는 상기 음악 파일의 음원에 대한 정보 텍스트 형식의 음원정보로 포함되어 함께 저장된다.
한편, 상기 음성음원정보 생성 장치(10)는 언어처리부(13)을 포함한다. 상기 언어처리부(13)는 상기 음성음원정보 생성 장치(10)에 음성음원정보 생성 명령이 입력되면, 명령에 따라 해당 음원에 대한 음원정보에 포함된 텍스트를 오디오 형식으로 변환하기 위한 전처리를 한다.
이때 상기 언어처리부(13)는 음원정보에 포함된 텍스트를 전처리하기 이전에 우선 후술할 인터페이스부(19)를 통해 후술할 서버(20)에 접속한다. 그리고 상기 서버(20)에서 상기 음원정보에 대응되는 음성음원정보를 제공하는 경우, 상기 서버(20)로부터 텍스트 형식의 상기 음원정보에 대응되는 오디오 형식의 음성음원정보를 다운로드 받는다.
상기 음원정보에 대응되는 음성음원정보를 상기 서버(20)로부터 다운로드 받은 경우, 상기 언어처리부(13)는 상기 음원정보에 대한 전처리과정을 수행하지 않는다.
그러나 상기 서버(20)에서 해당 음원정보에 대한 음성음원정보를 제공하지 않는 경우, 상기 언어처리부(13)는 상기 음원정보에 대한 전처리과정을 수행하게 된다.
즉, 상기 언어처리부(13)는 텍스트 형식의 음원정보를 각각의 형태소로 구분하고, 구문 분석 및 의미해석을 기반으로 적절한 복수의 음단위로 분류한다.
이때 상기 언어처리부(13)는 복수의 음단위로 분류된 상기 음원정보의 각 음단위에 대응되는 오디오 데이터를 상기 서버(20)로부터 수신받는다. 여기서 상기 언어처리부(13)는 상기 음단위를 결정함에 있어서, 텍스트 그대로를 음단위로 분류하는 것은 아니고, 형태소 구분, 구문 분석 및 의미해석을 기반으로 판단한 음원정보에 포함된 텍스트에 대한 발음 기호열을 복수의 음단위로 나누게 된다.
이때 상기 언어처리부(13)는 음절의 끝소리 규칙, 자음동화, 구개음화, 음운축약, 경음화, 사잇소리 현상 등의 음운변동 현상에 대하여 미리 저장된 규칙을 적용하여 발음 기호열을 결정하고 이를 복수의 음단위로 나누게 된다. 상기 음단위는 설정하는 바에 따라 다를 수 있으나 음운, 음절, 형태소, 단어 등의 단위로 구분될 수 있다.
그리고 상기 언어처리부(13)는 위에 설명한 바에 따라 상기 음원정보를 복수의 음단위로 구분하는 과정이 수행되면, 상기 서버(20)에 접속하여 각각의 음단위 에 대응되는 오디오 데이터(이하, '단위음성'이라 한다)를 가져온다.
한편 상기 음성음원정보 생성 장치(10)는 운율제어부(15)를 포함한다. 상기 운율제어부(15)는 상기 언어처리부(13)에서 전처리되어 상기 서버(20)로부터 다운로드된 각각의 단위음성에 대한 운율제어를 담당한다. 운율제어란 각각의 단위음성에 대한 길이제어 및 억양제어이다.
상기 운율제어부(15)는 상기 음원정보를 보다 자연스러운 발음의 음성음원정보로 변환하기 위하여 각각의 단위음성이 재생되는 시간과 음높이 등을 조절한다.
우선 상기 단위음성이 재생되는 지속시간의 자연스러운 제어를 위하여 연속음성에 있어서 음운의 지속시간을 조사하여 음성 합성에 적용하고, 또한 억양 제어를 위하여 합성음에 자연성을 주는 운율요소로서 기본주파수 모델로 거의 확립되어 있는 후지사키 모델을 이용한다.
한편 상기 음성음원정보 생성 장치(10)에는 음성생성부(17)가 포함되어 구성된다. 상기 음성생성부(17)는 이미 설명한 바와 같이 상기 운율제어부(15)에 의해 상기 각각의 단위음성에 대한 운율제어가 완료되면, 운율제어된 각각의 단위음성을 합성하여 하나의 음성음원정보를 생성한다.
그리고 상기 음성생성부(17)는 위와 같이 완성된 음성음원정보를 해당 음원에 합성하여 하나의 음악 파일을 완성할 수도 있다.
여기서 상술한 바와 같은 상기 언어처리부(13), 운율제어부(15), 음성생성부(17)는 각각의 기능에 특화된 별도의 컨트롤러로 구비될 수도 있고, 하나의 구성요소로 구비되어 모든 기능을 함께 수행할 수도 있다.
한편, 상기 음성음원정보 생성 장치(10)에는 인터페이스부(19)가 구비된다. 상기 인터페이스부(19)는 상기 서버(10)와 상기 음성음원정보 생성 장치(10)의 데이터 통신을 가능케 하는 유선 또는 무선의 통신수단이다.
그리고 상기 서버(20)는 상기 음성음원정보 생성 장치(10)에서 상기 인터페이스부(19)를 통해 접근 가능한 데이터베이스를 포함하며, 상기 음성음원정보 생성 장치(10)의 요청에 따라 필요한 서비스를 제공하고 상기 데이터베이스로부터 상기 음성음원정보 생성 장치(10)에서 요청하는 데이터를 전송하여준다.
상기 서버(20)에는 우선 음성음원정보 데이터베이스(21)가 구비된다. 상기 음성음원정보 데이터베이스(21)에는 각각의 음원에 대한 음성음원정보가 저장된다. 따라서 상기 언어처리부(13)에서 상술한 바와 같이 텍스트 형식의 음원정보에 대한 전처리를 수행하기에 앞서 상기 서버(20)에 음원정보에 대한 음성음원정보를 요청하면 상기 서버(20)는 상기 음성음원정보 데이터베이스(21)에 해당 음원정보에 대응하는 음성음원정보가 저장되어 있는지 여부를 검색한다.
그리고 검색결과 상기 음성음원정보 데이터베이스(21)에 해당 음원정보에 대응하는 음성음원정보가 저장되어 있으면, 상기 서버(21)는 검색된 음성음원정보를 상기 음성음원정보 생성 장치(10)로 전송하여준다.
전송된 음성음원정보를 수신받은 상기 언어처리부(13)는 음원정보에 대한 음성음원정보를 생성하지 않아도 되므로, 수신받은 음성음원정보를 상기 음성생성부(17)로 직접 송신하고, 상기 음성생성부(17)는 이를 전송받아 음원에 합성함으로써 하나의 음악 파일을 생성할 수 있다.
그러나 상기 서버(20) 내의 상기 음성음원정보 데이터베이스(21) 내에 해당 음원정보에 대한 음성음원정보가 없는 경우, 상기 언어처리부(13), 상기 운율제어부(15), 상기 음성생성부(17)는 이미 설명한 바에 따른 절차를 수행함으로써 텍스트 형식의 음원정보를 음성음원정보로 변환한다.
한편 상기 음성음원정보 데이터베이스(21)에는 각각의 음원에 대응되는 음성음원정보가 각각의 음원에 대하여 저장될 수도 있으나, 하나의 음원정보에 포함된 여러가지 정보, 예를 들어, 곡명, 가수명, 앨범명, 장르 등이 각각 별도의 오디오 데이터로 저장될 수도 있다.
한편 상기 서버(20)에는 단위음 데이터베이스(23)가 포함된다. 상기 단위음 데이터베이스(23)에는 각각의 음소, 음운, 음절, 형태소, 단어 등 단위음성이 될 수 있는 모든 음에 대한 고음질의 오디오 데이터가 저장된다.
그리고 상기 단위음 데이터베이스(23)는 상기 음성음원정보 생성 장치(10)의 요청에 따라 상기 음성음원정보 생성 장치(10)의 상기 언어처리부(13)에서 분류한 각각의 음단위에 대응되는 오디오 데이터, 즉 단위음성을 상기 음성음원정보 생성 장치(10)로 제공한다.
그리고 상기 음성음원정보 생성 장치(10)는 상기 단위음성을 상기 서버(20)로부터 전송받아 운율제어하여 하나의 음성음원정보로 생성함은 앞서 설명한 바와 같다.
이하에서는 상기한 바와 같은 본 발명에 의한 음성음원정보 생성 장치 및 시스템 등을 이용하여 음성음원정보를 생성하는 방법의 구체적인 실시예를 첨부된 도 면을 참고하여 상세하게 설명한다.
도 2는 본 발명의 구체적인 실시예에 의한 음성음원정보 생성 방법을 단계적으로 도시한 흐름도이고, 도 3은 도 2에 도시된 바에 따른 음성음원정보 생성 방법에서 텍스트형식의 음원정보를 음성음원정보로 변환하는 단계를 보다 구체적으로 도시한 흐름도이며, 도 4는 본 발명의 바람직한 실시예에 따른 후지사키 모델의 피치 설정 방법을 개략적으로 나타낸 도면이다.
도 2에 도시된 바와 같이, 텍스트 기반의 일반적인 음원정보에 대하여 이를 오디오 형식으로 변환한 음성음원정보를 생성하도록 하는 명령이 입력되는 단계(S100)로부터 시작된다.
상기 제100단계는 예를 들어, 휴대용 MP3플레이어에서 사용자가 선택된 음악 파일 또는 모든 음악 파일에 대하여 음원정보를 음성음원정보로 변환하여 파일을 저장하거나 재생하도록 명령한 경우, 또는 퍼스널 컴퓨터의 응용프로그램을 이용하여 선택된 음악 파일 또는 모든 음악 파일에 포함된 음원정보를 음성음원정보로 변환하여 파일을 저장 또는 재생하거나 MP3플레이어와 같은 휴대기기로 전송하도록 명령한 경우 등이 해당될 수 있다.
그리고 이와 같은 명령이 입력되면, 상기 음성음원정보 생성 장치(10)는 상기 서버(20)에 해당 음원에 대한 음성음원정보의 전송을 요청한다(S200).
이때 해당 음원에 대한 음성음원정보를 전체로서 요청할 수도 있으나, 음원정보에 포함된 다양한 정보 각각에 대하여 별도로 전송요청할 수도 있다.
즉, 예를 들어 음성음원정보 생성 명령이 입력된 음원의 곡명, 가수명, 장 르, 앨범명이 각각 '신승훈', '운명', '발라드', '신승훈5집'인 경우, 상기 음성음원정보 생성 장치(10)는 이와 같은 정보 전체를 포함하는 하나의 음성음원정보를 상기 서버(20)에 요청할 수도 있으나, 이와 일치하는 음성음원정보가 상기 서버(20)에서 제공되지 않는 경우, 음원정보에 포함된 곡명, 가수명, 장르, 앨범명 등의 정보 각각을 개별적으로 상기 서버(20)에 요청할 수 있다. 따라서 '신승훈', '운명', '발라드', '신승훈5집'을 각각 개별적으로 상기 서버(20)에 요청하면, 상기 서버(20)는 이와 같은 정보를 상기 음성음원정보 데이터베이스(21) 및/또는 상기 단위음 데이터베이스(23)에서 검색하여 해당 정보의 오디오 데이터를 상기 음성음원정보 생성 장치(10)에 제공한다.
한편, 상기 제200단계에서의 상기 음성음원정보 생성 장치(10)의 요청에 따라 상기 서버(20)에서 해당 음원에 대한 음성음원정보가 제공되지 않은 경우(S300), 상기 음성음원정보 생성 장치(10)에서는 상기 음원정보에 포함된 텍스트를 처리하여 음성음원정보로 변환한다(S400).
그러나 요청된 음성음원정보가 상기 서버(20)로부터 제공된 경우(S300), 상기 음성음원정보 생성 장치(10)는 상기 서버(20)로부터 제공받은 상기 음성음원정보를 그에 대응하는 음원과 합성함으로써 음원정보를 음성으로 제공하는 음악 파일을 생성하게 된다(S500).
한편, 음원정보에 포함된 여러 정보 각각에 대한 오디오 데이터를 개별적으로 상기 서버(20)에 요청하였으나, 상기 서버(20)에서 그 중 일부에 대한 오디오 데이터만을 제공한 경우, 예를 들어 상기 음원정보에 '신승훈', '운명', '발라드', '신승훈5집'이라는 텍스트 정보가 포함되어 있으나, 상기 서버(20)에서 각각의 텍스트 중 '신승훈'과 '발라드'에 대한 오디오 데이터만을 제공한 경우, 상기 음성음원정보 생성 장치(10)는 이들 중 '신승훈'과 '발라드'에 대한 음성은 상기 서버(20)로부터 전송된 오디오 데이터를 그대로 사용하고, '운명'과 '신승훈5집'에 대한 음성은 텍스트를 분석하여 음성으로 변환함으로써 새로 생성한다.
그리고 이와 같이 상기 서버(20)로부터 전송받거나 직접 생성한 각각의 정보에 대한 오디오 데이터를 최종적으로 합성하여 하나의 음성음원정보를 생성한다.
한편 상기 제400단계를 보다 구체적으로 살펴보면, 도 3에 도시된 바와 같이 우선 음원정보에 포함된 텍스트를 처리하여 복수의 음단위로 구분하는 단계로부터 시작된다(S410).
상기 제410단계에서는 상기 음원정보에 포함된 텍스트를 형태소 구분, 구문분석 및 의미해석을 기반으로 복수의 음단위로 분류하게 된다. 이때 형태소 구분, 구문 분석 및 의미해석 등을 통하여 상기 음원정보에 포함된 텍스트를 표기 그대로의 발음이 아닌 발음규칙상의 발음에 의한 기호열로 변환하게 된다. 이에 따라 다양한 음운변동 규칙이 적용된다. 또한 외국어나 숫자 등이 상기 음원정보에 포함된 경우, 이 또한 발음규칙에 따른 발음 기호열로 변환하고, 이를 복수의 음단위로 나누게 된다.
한편 상기 제410단계에서 복수로 나뉜 음단위 각각에 대응하는 단위음성을 상기 서버(20)로부터 다운로드 받는다(S430).
이때 상기 서버(20)는 음단위가 될 수 있는 음소, 음운, 음절, 형태소, 단어 등을 모두 고음질의 단위음성으로 제공함으로써, 상기 음성음원정보 생성 장치(10)에서 보다 자연스러운 음성을 합성하여 출력할 수 있도록 한다.
즉, 단말기 내에서는 그 저장용량의 한계로 인하여 단위음성을 고음질로 저장하기 어려울 뿐 아니라, 다양한 단위음성을 별도로 저장하는데에 한계가 있다. 예를 들어, '겨울비'라는 텍스트에 대한 단위음성이 될 수 있는 것은, 그 발음기호열을 나열하여 각각의 음절이 되는 '겨', '울', '삐'와, '겨울', '겨울삐' 등이 될 것이다. 이와 같이 단위음성이 될 수 있는 여러 음성을 모두 고음질의 오디오 데이터로 가지기 위해서는 매우 큰 용량의 저장공간이 요구된다.
따라서 저장용량이 적은 단말기에서는 이와 같은 단위음성 모두를 저장하지 못하고, 모든 경우의 수에 대하여 음성을 생성하여야 하기 때문에 작은 단위로 나뉜 단위음성을 저장하게 된다. 그리고 그에 따라 작은 단위의 음성을 결합하여 단어나 문장을 형성하게 된다. 예를 들면, '겨', '울', '삐'를 각각 별개의 단위음성으로 저장하였다가 이를 조합하여 '겨울삐'라는 음성을 생성하게 되므로, '겨울삐'가 하나의 자연스러운 단위음성으로 저장된 경우보다 그 발음이 부자연스럽게 된다.
그러므로 저장용량이 넉넉한 서버에 보다 다양한 단위음성을 저장하여두고, 경우에 따라 적합한 단위음성을 제공함으로써, 보다 자연스럽고 음질이 좋은 음성음원정보를 생성할 수 있게 된다.
한편 상기 제430단계에서 다운로드된 상기 단위음성들에 대하여 각각 적절한 운율을 적용하는 단계(S450)가 수행된다.
상기 제450단계는 우선, 단위음성에 자연스러운 억양을 적용하기 위하여 합성음에 자연성을 주는 운율요소로서 기본주파수 모델로 거의 확립되어 있는 후지사키 모델을 이용하여 상기 단위음성들에 음높이를 제어한다.
도 4를 참조하여 후지사키 모델에 대하여 간략히 설명하면, 후지사키 모델은 기존 호흡 단락 그룹으로 만들어지고 이 호흡단락 그룹 사이에 휴지 길이가 삽입되는 피치 패턴의 생성 모델을 가진다. 이 모델은 피치 악센트 모델에 적합한 것으로 알려져 있다. 음원정보는 비교적 소수의 형태소로 이루어져 있으므로 피치 악센트에 적합하고, 따라서 본 모델을 이용하여 기본 주파수 피치 패턴을 생성한다.
도 4에 포함된 수식은 악센트에 따라서 기본주파수를 추출하는 수식을 나타낸 것이다.
한편 상기 제450단계에서는 또한 음성음원정보에 자연스러운 리듬과 템포를 부여하기 위하여 연속음성의 음운 지속시간을 미리 조사하여 각각의 단위음성의 재생 지속시간에 적용한다. 음원정보는 일반적으로 소수의 형태소를 포함하므로 문장 개수에 따른 모델을 적용하여 모델링하도록 한다.
그리고 상기 제450단계에서 각각의 단위음성에 대한 운율제어가 완료되면, 운율이 적용된 각각의 단위음성을 합성하여 하나의 음성음원정보를 생성하는 단계(S470)가 수행된다.
이때 생성되는 상기 음성음원정보의 음질은 음원의 음질과 차이가 크지 않도록 설정한다. 상기 음성음원정보와 음원의 합성시에는 LPC(Linear Predictive Coding) 방식을 사용한다. 음성음원정보는 변화가 많지만 작은 단위로 거의 주기적 인 모양을 띄고, 과거의 신호와 비교할 때 큰 변화가 없기 때문에 현재의 신호로 미래의 신호를 예측하는 원리를 이용한 LPC방식의 모델링을 수행한다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
도 1은 본 발명의 구체적인 실시예에 의한 음성음원정보 생성 시스템을 개략적으로 도시한 블럭도.
도 2는 본 발명의 구체적인 실시예에 의한 음성음원정보 생성 방법을 단계적으로 도시한 흐름도.
도 3은 도 2에 도시된 바에 따른 음성음원정보 생성 방법에서 텍스트형식의 음원정보를 음성음원정보로 변환하는 단계를 보다 구체적으로 도시한 흐름도.
도 4는 본 발명의 바람직한 실시예에 따른 후지사키 모델의 피치 설정 방법을 개략적으로 나타낸 도면.
**도면의 주요 부분에 대한 부호의 설명**
10: 음성음원정보 생성 장치 11: 메모리부
13: 언어처리부 15: 운율제어부
17: 음성생성부 19: 인터페이스부
20: 서버 21: 음성음원정보 데이터베이스
23: 단위음 데이터베이스

Claims (14)

  1. 텍스트 기반의 음원정보를 음성음원정보로 변환하기 위해 필요한 데이터를 서버로부터 수신받는 인터페이스부와;
    음원정보가 저장되는 메모리부와;
    상기 메모리부에 저장된 음원정보를 복수의 음단위로 분류하고 그에 대응되는 단위음성을 상기 인터페이스부를 통하여 수신하는 언어처리부와;
    상기 언어처리부에 의하여 수신된 단위음성 각각에 대하여 운율을 적용하는 운율제어부; 그리고
    상기 운율제어부에 의해 운율이 적용된 각각의 단위음성을 합성하여 음성음원정보를 생성하는 음성생성부를 포함하여 구성됨을 특징으로 하는 음성음원정보 생성 장치.
  2. 제1항에 있어서,
    상기 언어처리부는,
    상기 메모리부에 저장된 음원정보를 복수의 음단위로 분류하기에 앞서, 상기 음원정보에 대응되는 음성음원정보를 상기 인터페이스부를 통하여 상기 서버에 요청함을 특징으로 하는 음성음원정보 생성 장치.
  3. 제1항에 있어서,
    상기 음성생성부는,
    상기 음성음원정보를 해당 음원에 합성하여 하나의 음악파일을 생성함을 특징으로 하는 음성음원정보 생성 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 언어처리부는,
    상기 음원정보를 상기 음원정보에 포함된 텍스트에 대한 형태소 구분, 구문분석 및 의미해석을 기반으로 복수의 음단위로 분류하는 것을 특징으로 하는 음성음원정보 생성 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 운율제어부는,
    후지사키 모델을 이용하여 기본 주파수 피치 패턴을 생성하는 것을 특징으로 하는 음성음원정보 생성 장치.
  6. 텍스트 기반의 음원정보에 대응되는 음성음원정보가 저장되는 제1데이터베이스와;
    형태소 구분, 구문분석 및 의미해석을 기반으로 분류한 단위음성이 저장되는 제2데이터베이스가 저장된 서버와:
    상기 서버와 통신연결 가능한 인터페이스부와;
    음원정보를 복수의 음단위로 분류하고 그에 대응되는 단위음성을 상기 제2데이터베이스로부터 수신하는 언어처리부와;
    상기 언어처리부에 의하여 수신된 단위음성 각각에 대하여 운율을 적용하는 운율제어부; 그리고
    상기 운율제어부에 의해 운율이 적용된 각각의 단위음성을 합성하여 음성음원정보를 생성하는 음성생성부를 포함하는 음성음원정보 생성 장치를 포함하여 구성됨을 특징으로 하는 음성음원정보 생성 시스템.
  7. 제6항에 있어서,
    상기 언어처리부는,
    상기 음원정보를 복수의 음단위로 분류하기에 앞서, 상기 제1데이터베이스에 저장된 상기 음원정보에 대응되는 음성음원정보를 상기 서버에 요청함을 특징으로 하는 음성음원정보 생성 시스템.
  8. 제6항에 있어서,
    상기 음성생성부는,
    상기 음성음원정보를 해당 음원에 합성하여 하나의 음악파일을 생성함을 특징으로 하는 음성음원정보 생성 장치.
  9. (A)텍스트 형식의 음원정보를 음성음원정보로 변환하는 명령이 입력되는 단계와;
    (B)해당 음원정보에 포함된 텍스트를 서버로 전송하는 단계와;
    (C)상기 서버에서 상기 음원정보에 대응되는 음성음원정보를 검색하는 단계;그리고
    (D)상기 (C)단계에서 상기 음원정보에 대응되는 음성음원정보가 검색되지 않은 경우, 복수의 단위음성을 합성하여 상기 음원정보를 음성음원정보로 변환하는 단계를 포함하여 수행됨을 특징으로 하는 음성음원정보 생성 방법.
  10. 제9항에 있어서,
    상기 음성음원정보 생성 방법은,
    (E)상기 (D)단계에서 변환된 상기 음성음원정보를 그에 대응되는 음원에 합 성하는 단계를 더 포함하여 수행됨을 특징으로 하는 음성음원정보 생성 방법.
  11. 제9항에 있어서,
    상기 음성음원정보 생성 방법은,
    (F)상기 (C)단계에서 상기 음원정보에 대응되는 음성음원정보가 검색된 경우, 검색된 음성음원정보를 서버로부터 다운로드하여, 그에 대응되는 음원에 합성하는 단계를 포함하여 수행됨을 특징으로 하는 음성음원정보 생성 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 (D)단계는,
    (D1) 상기 음원정보에 포함된 텍스트를 발음기호열로 변환하고, 이를 복수의 음단위로 분류하는 단계와;
    (D2) 상기 (D1)단계에서 분류된 복수의 음단위에 대한 오디오 데이터인 단위음성을 상기 서버에 요청하는 단계와;
    (D3) 상기 서버로부터 요청된 단위음성을 수신하는 단계와;
    (D4) 수신된 단위음성 각각에 대하여 운율을 적용하는 단계; 그리고
    (D5) 운율 적용된 단위음성을 합성하여 음성음원정보를 생성하는 단계를 포함하여 수행됨을 특징으로 하는 음성음원정보 생성 방법.
  13. 제12항에 있어서,
    상기 (D1) 단계는,
    상기 음원정보에 포함된 텍스트를 형태소 구분, 구문분석 및 의미해석하여 음운변동을 적용하고 복수의 음단위로 분류함을 특징으로 하는 음성음원정보 생성 방법.
  14. 제12항에 있어서,
    상기 (D4) 단계는,
    후지사키 모델을 이용하여 기본 주파수 피치 패턴을 생성하는 단계를 포함하여 수행됨을 특징으로 하는 음성음원정보 생성 방법.
KR1020080063539A 2008-07-01 2008-07-01 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법 KR20100003574A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080063539A KR20100003574A (ko) 2008-07-01 2008-07-01 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080063539A KR20100003574A (ko) 2008-07-01 2008-07-01 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법

Publications (1)

Publication Number Publication Date
KR20100003574A true KR20100003574A (ko) 2010-01-11

Family

ID=41813343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080063539A KR20100003574A (ko) 2008-07-01 2008-07-01 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법

Country Status (1)

Country Link
KR (1) KR20100003574A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169844A2 (ko) * 2011-06-08 2012-12-13 주식회사 내일이비즈 전자책 데이터 음성 합성 장치 및 그 방법
KR20180103273A (ko) * 2017-03-09 2018-09-19 에스케이텔레콤 주식회사 음성 합성 장치 및 음성 합성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169844A2 (ko) * 2011-06-08 2012-12-13 주식회사 내일이비즈 전자책 데이터 음성 합성 장치 및 그 방법
WO2012169844A3 (ko) * 2011-06-08 2013-03-07 주식회사 내일이비즈 전자책 데이터 음성 합성 장치 및 그 방법
KR20180103273A (ko) * 2017-03-09 2018-09-19 에스케이텔레콤 주식회사 음성 합성 장치 및 음성 합성 방법

Similar Documents

Publication Publication Date Title
US9761219B2 (en) System and method for distributed text-to-speech synthesis and intelligibility
US7596499B2 (en) Multilingual text-to-speech system with limited resources
JP4130190B2 (ja) 音声合成システム
JP4516863B2 (ja) 音声合成装置、音声合成方法及びプログラム
JP2003295882A (ja) 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム
US20140046667A1 (en) System for creating musical content using a client terminal
US8626510B2 (en) Speech synthesizing device, computer program product, and method
JP2002530703A (ja) 音声波形の連結を用いる音声合成
JP2008545995A (ja) ハイブリッド音声合成装置、方法および用途
JP2002221980A (ja) テキスト音声変換装置
CN1813285B (zh) 语音合成设备和方法
JP2006293026A (ja) 音声合成装置，音声合成方法およびコンピュータプログラム
CN111477210A (zh) 语音合成方法和装置
US20090281808A1 (en) Voice data creation system, program, semiconductor integrated circuit device, and method for producing semiconductor integrated circuit device
CN112669815B (zh) 歌曲定制生成方法及其相应的装置、设备、介质
Bulyko et al. Efficient integrated response generation from multiple targets using weighted finite state transducers
JP4287785B2 (ja) 音声合成装置、音声合成方法及びプログラム
Raghavendra et al. A multilingual screen reader in Indian languages
KR20100003574A (ko) 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법
KR102277205B1 (ko) 오디오 변환 장치 및 방법
KR20060015744A (ko) 음성 데이터를 선택하기 위한 장치, 방법 및 프로그램
JP2005018036A (ja) 音声合成装置、音声合成方法及びプログラム
Sudhakar et al. Development of Concatenative Syllable-Based Text to Speech Synthesis System for Tamil
KR20180103273A (ko) 음성 합성 장치 및 음성 합성 방법
JP4209811B2 (ja) 音声選択装置、音声選択方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application