KR20110131768A - 발음기관 애니메이션 생성 장치 및 방법 - Google Patents

발음기관 애니메이션 생성 장치 및 방법 Download PDF

Info

Publication number
KR20110131768A
KR20110131768A KR1020100051369A KR20100051369A KR20110131768A KR 20110131768 A KR20110131768 A KR 20110131768A KR 1020100051369 A KR1020100051369 A KR 1020100051369A KR 20100051369 A KR20100051369 A KR 20100051369A KR 20110131768 A KR20110131768 A KR 20110131768A
Authority
KR
South Korea
Prior art keywords
information
pronunciation
articulation
animation
price
Prior art date
Application number
KR1020100051369A
Other languages
English (en)
Other versions
KR101153736B1 (ko
Inventor
봉래 박
Original Assignee
(주)클루소프트
봉래 박
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)클루소프트, 봉래 박 filed Critical (주)클루소프트
Priority to US13/695,572 priority Critical patent/US20130065205A1/en
Priority to PCT/KR2010/003484 priority patent/WO2011152575A1/ko
Priority to KR1020100051369A priority patent/KR101153736B1/ko
Publication of KR20110131768A publication Critical patent/KR20110131768A/ko
Application granted granted Critical
Publication of KR101153736B1 publication Critical patent/KR101153736B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Abstract

본 발명은 외국어 발음교육을 지원하기 위하여 원어민의 발음형태에 가까운 발음기관 애니메이션을 생성하는 장치와 방법에 관한 것이다. 본 발명에 따른 발음기관 애니메이션 생성 장치에서, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 방법은, 상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정 단계; 상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하는 세부음가 추출 단계; 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 재구성 단계; 상기 재구성된 음가구성정보에 포함된 각 세부음가와 각 전이구간에 대응되는 발음형태정보를 검출하는 발음형태정보 검출 단계; 및 상기 각 세부음가의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보 사이를 보간하여 상기 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성 단계;를 포함한다.

Description

발음기관 애니메이션 생성 장치 및 방법{Apparatus and method for generating the vocal organs animation}
본 발명은 발성과정을 발음기관 애니메이션으로 생성하는 기술에 관한 것으로서, 각 발음이 인접된 발음에 따라, 달리 조음되는 과정을 발음기관 애니메이션으로 생성하는 발음기관 애니메이션 생성 장치 및 방법에 관한 것이다.
오늘날 통신수단과 교통수단의 발전으로 인하여, 국가 간의 경계가 모호해지는 세계화가 가속되고 있다. 일반인들은 이러한 세계화에 따른 경쟁력을 갖추기 위하여 외국어 습득에 열중하고 있으며, 아울러 외국어 구사가 가능한 인재를 학교, 기업 등의 단체에서 요구하고 있다.
외국어를 습득하기 위해서는 단어 암기, 문법 체계의 숙지 등과 같은 기초적인 지식도 중요하지만, 해당 외국어의 발음 형태에 익숙해질 필요성이 있다. 예를 들어, 원어민이 발음하는 형태를 숙지하고 있으면, 외국어 구사 능력도 향상될 뿐만 아니라 원어민이 구사하는 언어의 의미도 보다 정확하게 이해할 수 있다.
이러한 원어민의 발음형태를 애니메이션으로 생성하는 특허로는, 본 출원인이 기 출원하여 공개된 한국공개특허 제2009-53709호(명칭: 발음정보 표출장치 및 방법)가 있다. 상기 공개특허는 각 음가에 대응되는 조음기관 상태정보들을 구비하고 연속된 음가들이 주어지면 해당 조음기관 상태정보들에 근거하여 발음기관 애니메이션을 생성하고 화면에 표시함으로써, 외국어 학습자에게 원어민의 발음형태에 관한 정보를 제공한다. 아울러, 상기 공개특허는 동일한 단어라 하더라도 발성의 빠르기나 축약, 단축, 생략 등과 같은 발음현상을 반영하여 원어민의 발음형태와 가까운 발음기관 애니메이션을 생성한다.
그런데 조음기관들은 연속되는 발음에서 특정 발음이 발성될 때 다음 발음을 미리 준비하는 경향이 있는데, 이를 언어학적으로 '발음의 경제성'이라 한다. 예를 들어, 영어에서 혀의 작용과 무관해 보이는 /b/, /p/, /m/, /f/, /v/와 같은 선행 발음에 이어서 /r/ 발음이 위치한 경우 혀는 상기 선행 발음을 발성하는 과정 중에 미리 /r/ 발음을 준비하는 경향이 있다. 또한, 영어에서 혀의 직접적인 작용이 필요한 발음들이 이어지는 경우에도 뒤 발음이 보다 용이하게 발성될 수 있도록 현재 발음의 발성방식을 뒤 발음에 맞추어 표준 음가와는 달리 발성하는 경향이 있다.
이러한 발음의 경제성이 상기 공개특허에서 효과적으로 반영되지 못하였음을 본 출원인은 발견하였다. 즉, 상기 공개특허는 동일한 음가라 하더라도 인접된 음가에 따라 변화되는 원어민의 발음형태가 애니메이션에 제대로 반영되어 있지 않아, 실제 원어민이 구사하는 발음형태와 발음기관 애니메이션 간에 차이가 나타나는 문제가 있다.
따라서, 본 발명은 이러한 문제점을 해결하고자 제안된 것으로서, 인접된 발음에 따라 변화되는 원어민의 발음형태를 반영하여 발음기관 애니메이션을 생성하는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 제1측면에 따른 발음기관 애니메이션 생성 장치에서 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 방법은, 상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정 단계; 상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하는 세부음가 추출 단계; 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 재구성 단계; 상기 재구성된 음가구성정보에 포함된 각 세부음가와 각 전이구간에 대응되는 발음형태정보를 검출하는 발음형태정보 검출 단계; 및 상기 각 세부음가의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보 사이를 보간하여 상기 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 애니메이션 생성 단계는, 상기 각 세부음가별로 검출된 발음형태정보를 해당 세부음가의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 발음기관 애니메이션을 생성한다.
또한, 상기 애니메이션 생성 단계는 상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 세부음가의 발음형태정보에서 시작하여 다음 세부음가의 발음형태정보까지 존재하는 인접한 발음형태정보들 사이를 보간하여 발음기관 애니메이션을 생성한다.
상기 목적을 달성하기 위한 본 발명의 제2측면에 따른 발음기관 애니메이션 생성 장치에서, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 방법은, 상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정 단계; 상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하는 세부음가 추출 단계; 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 재구성 단계; 상기 재구성된 음가구성정보에 포함된 각 세부음가와 대응되는 조음부호를 조음기관별로 구분하여 추출하는 조음부호 추출 단계; 상기 추출한 조음부호, 조음부호별 발성길이 및 전이구간을 포함하는 조음구성정보를 상기 조음기관별로 생성하는 조음구성정보 생성 단계; 상기 조음구성정보에 포함된 각 조음부호와 조음부호 사이에 배정된 각 전이구간에 대응하는 발음형태정보를 상기 조음기관별로 검출하는 발음형태정보 검출 단계; 및 상기 각 조음부호의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하고, 생성된 애니메이션을 하나로 합성하여 상기 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 조음구성정보 생성 단계는 각각의 세부음가와 대응하여 추출된 조음부호가 해당 세부음가의 발성에 관여하는 정도를 확인하여, 상기 확인한 발성 관여 정도에 따라 각 조음부호의 발성길이 또는 조음부호 사이에 배정된 전이구간을 재설정한다.
더욱 바람직하게, 상기 애니메이션 생성 단계는, 상기 각 조음부호별로 검출된 발음형태정보를 해당 조음부호의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성한다.
게다가, 상기 애니메이션 생성 단계는, 상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 조음부호의 발음형태정보에서 시작하여 다음 조음부호의 발음형태정보까지 존재하는 인접한 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성한다.
상기 목적을 달성하기 위한 본 발명의 제3측면에 따른 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 장치는, 상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정수단; 상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하고, 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 음가문맥 적용수단; 상기 재구성된 음가구성정보에 포함된 각 세부음가와 각 전이구간에 대응되는 발음형태정보를 검출하는 발음형태 검출수단; 및 상기 각 세부음가의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후, 배정된 발음형태정보 사이를 보간하여 상기 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성수단;을 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제4측면에 따른 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 장치는, 상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정수단; 상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하고, 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 음가문맥 적용수단; 상기 재구성된 음가구성정보에 포함된 각 세부음가에 대응되는 조음부호를 조음기관별로 구분하여 추출한 후, 하나 이상의 조음부호, 조음부호별 발성길이 및 전이구간을 포함하는 조음구성정보를 상기 조음기관별로 생성하는 조음구성정보 생성수단; 상기 조음구성정보에 포함된 각 조음부호와 조음부호 사이에 배정된 각 전이구간에 대응하는 발음형태정보를 상기 조음기관별로 검출하는 발음형태 검출수단; 및 상기 각 조음부호의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하고, 각 애니메이션을 하나로 합성하여 상기 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성수단;을 포함하는 것을 특징으로 한다.
본 발명은 발음기관 애니메이션을 생성할 때 인접된 발음에 따라 각 발음이 달리 조음되는 과정을 반영함으로써, 원어민의 발음형태와 매우 근접된 발음기관 애니메이션을 생성하는 장점이 있다.
또한, 본 발명은 원어민이 발음하는 형태를 애니메이션화하고 이를 외국어 학습자에게 제공함으로써, 상기 외국어 학습자의 발음교정에 일조하는 이점이 있다.
게다가, 본 발명은 발성하는데 이용되는 입술, 혀, 코, 목젖, 구개, 이, 잇몸 등의 조음기관별로 구분된 발음형태정보를 토대로 애니메이션을 생성하기 때문에, 보다 정확하고 자연스러운 발음기관 애니메이션을 구현하는 장점이 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른, 발음기관 애니메이션을 생성하는 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 전이구간이 배정된 음가구성정보를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른, 세부음가를 포함하는 음가구성정보를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 키프레임과 일반프레임이 배정된 발음기관 애니메이션을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른, 발음기관 애니메이션 생성장치에서 제공하는, 생성된 애니메이션 및 관련 정보를 나타내는 인터페이스 도면이다.
도 7은 본 발명의 일 실시예에 따른, 발음기관 애니메이션 생성 장치에서 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 방법을 설명하는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른, 발음기관 애니메이션을 생성하는 장치의 구성을 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른, 각 조음기관에 대한 조음구성정보를 나타내는 도면이다.
도 10은 본 발명의 다른 실시예에 따른, 발음기관 애니메이션 생성장치에서 제공하는, 생성된 애니메이션 및 관련 정보를 나타내는 인터페이스 도면이다.
도 11은 본 발명의 다른 실시예에 따른, 발음기관 애니메이션 생성 장치에서 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 방법을 설명하는 순서도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에 따른 발음기관 애니메이션 생성 장치 및 방법을 설명하기에 앞서, 후술되는 용어에 대해 정의한다.
음가(phonetic value)는 단어를 구성하는 각 음소의 소릿값을 의미한다.
음가정보는 단어의 소릿값을 구성하는 음가들의 리스트를 나타낸다.
음가구성정보는 발성길이가 할당된 음가들의 리스트를 의미한다.
세부음가는 앞 또는/및 뒤 음가 문맥에 따라 각 음가가 실제로 발성되는 소리값을 의미하는 것으로서, 각 음가별로 하나 이상의 세부음가를 갖는다.
전이구간은 복수의 음가가 연이어 발성될 때, 앞의 제1음가에서 뒤의 제2음가로 전이되는 과정의 시간영역을 의미한다.
발음형태정보는 세부음가 또는 조음부호가 발성될 때, 조음기관의 형태에 관한 정보이다.
조음부호는 세부음가가 각 조음기관에 의해 발성될 때 각 조음기관의 형태를 식별가능한 부호로서 표현시킨 정보이다. 상기 조음기관은 입술, 혀, 코, 목젖, 구개, 이 또는 잇몸 등과 같이 음성을 내는데 쓰이는 신체기관을 의미한다.
조음구성정보는 조음부호, 조음부호에 대한 발성길이 및 전이구간이 하나의 단위정보가 되어 리스트로 구성된 정보로서, 상기 음가구성정보를 토대로 생성된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 발음기관 애니메이션을 생성하는 장치의 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 발음기관 애니메이션 생성 장치는 입력부(101), 음가정보 저장부(102), 음가구성정보 생성부(103), 전이구간정보 저장부(104), 전이구간 배정부(105), 음가문맥정보 저장부(106), 음가문맥 적용부(107), 발음형태정보 저장부(108), 발음형태 검출부(109), 애니메이션 생성부(110), 표출부(111) 및 애니메이션 조율부(112)를 포함한다.
입력부(101)는 사용자로부터 문자정보를 입력받는다. 즉, 입력부(101)는 음소(phoneme), 음절(syllable), 단어, 구(phrase) 또는 문장 등이 포함된 문자정보를 사용자로부터 입력받는다. 선택적으로, 입력부(101)는 문자정보 대신에 음성정보를 입력받거나 문자정보와 음성정보 모두를 입력받는다. 한편, 입력부(101)는 특정 장치 또는 서버로부터 문자정보를 전달받을 수도 있다.
음가정보 저장부(102)는 단어별 음가정보를 저장하고, 각각의 음가별 일반적 발성길이 또는 대표적 발성길이 정보도 저장한다. 예를 들어, 음가정보 저장부(102)는 'bread'라는 단어에 대한 음가정보로서 /bred/를 저장하며, 이 /bred/에 포함된 음가 /b/ 대해서 'T1', 음가 /r/에 대해서 'T2', 음가 /e/에 대해서 'T3', 음가 /d/에 대해서 'T4'의 발성길이 정보를 각각 저장한다.
한편, 음가의 일반적 또는 대표적 발성길이는 대체로 모음은 약 0.2초, 자음은 0.04초인데, 모음의 경우, 장모음, 단모음, 이중모음에 따라 발성길이가 서로 다르며, 자음의 경우 유성음, 무성음, 마찰음, 파찰음, 류음 및 비음 등에 따라 발성길이가 서로 다르다. 음가정보 저장부(102)는 이러한 모음 또는 자음의 종류에 따라 서로 다른 발성길이 정보를 저장한다.
음가구성정보 생성부(103)는 상기 입력부(101)에서 문자정보가 입력되면 상기 문자정보에 배열된 각 단어를 확인하고 단어별 음가정보와 해당 음가의 발성길이를 음가정보 저장부(102)에서 추출하여, 이 추출된 음가정보와 음가별 발성길이를 토대로 상기 문자정보에 대응하는 음가구성정보를 생성한다. 즉, 음가구성정보 생성부(103)는 상기 문자정보와 대응되는 하나 이상의 음가와 그 음가별 발성길이가 포함된 음가구성정보를 생성한다.
도 2는 본 발명의 일 실시예에 따른, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보를 나타내는 도면으로서, 도 2를 참조하여 설명하면, 음가구성정보 생성부(103)는 단어 'bread'에 대한 음가정보로서 /bred/를 음가정보 저장부(102)에서 추출하고, 상기 음가정보에 포함된 음가 /b/, /r/, /e/, /d/ 각각의 발성길이를 음가정보 저장부(102)에서 추출한다. 즉, 음가구성정보 생성부(103)는 상기 입력부(101)에서 입력된 문자정보가 'bread'인 경우, 상기 'bread'에 대응되는 음가정보(즉, /bred/)와 음가별(즉, /b/, /r/, /e/, /d/) 발성길이를 음가정보 저장부(102)에서 추출하고, 이를 토대로 다수의 음가와 음가별 발성길이가 포함된 음가구성정보를 생성한다. 도 2에서는 음가별 발성길이가 각 블록의 길이로서 표현된다.
한편, 음가구성정보 생성부(103)는 입력부(101)에서 문자정보와 함께 음성정보가 입력된 경우, 음가정보 저장부(102)에서 음가정보를 추출하고 음성인식을 통해 음가별 발성길이를 분석하여 상기 문자정보 및 음성정보에 대응하는 음가구성정보를 생성한다.
또는, 음가구성정보 생성부(103)는 입력부(101)에서 문자정보 없이 음성정보만 입력된 경우, 상기 음성정보에 대한 음성인식을 수행하여 하나 이상의 음가들과 음가별 발성길이를 분석하고 추출한 후 이를 토대로 상기 음성정보와 대응하는 음가구성정보를 생성한다.
전이구간정보 저장부(104)는 각 음가에서 인접된 다음 음가로 발성이 전이되는 과정에서 소요되는 일반적 또는 대표적 시간정보를 저장한다. 즉, 전이구간정보 저장부(104)는 복수의 음가가 연이어 발성될 때, 제1발성에서 제2발성으로 변해가는 발성전이구간에 대한 일반적 또는 대표적 시간정보를 저장한다. 바람직하게, 전이구간정보 저장부(104)는 동일한 음가라 하더라도 인접되는 음가에 따라 서로 다른 전이구간 시간정보를 저장한다. 예를 들어, 전이구간정보 저장부(104)는 음가 /t/ 다음에 음가 /s/가 오는 경우에 음가 /t/와 음가 /s/ 사이의 전이구간 정보로서 't4'의 전이구간 정보를 저장하고, 음가 /t/ 다음에 음가 /o/가 오는 경우 음가 /t/와 음가 /o/ 사이의 전이구간 정보로서 't5'의 전이구간 정보를 저장한다.
아래의 표 1은 본 발명의 일 실시예에 따른, 전이구간정보 저장부(104)에서 저장하는 인접음가별 전이구간 정보를 나타내는 표이다.

인접음가 정보
전이구간 정보

B_r
t1

R_e
t2

E_d
t3

T_s
t4

T_o
t5

...
표 1을 참조하면, 전이구간정보 저장부(104)는 음가 /t/ 다음에 음가 /s/가 발성되는 경우(즉, 표 1의 T_s), 상기 /t/와 /s/ 사이 전이구간에 대한 시간정보로서 't4'를 저장한다. 또한, 전이구간정보 저장부(104)는 음가 /b/ 뒤에 음가 /r/이 발성되는 경우(즉, 표 1의 B_r), 상기 /b/와 상기 /r/ 사이의 전이구간 정보로서 't1'을 저장한다.
전이구간 배정부(105)는 음가구성정보 생성부(103)에서 음가구성정보를 생성하면, 전이구간정보 저장부(104)에 저장된 인접 음가별 전이구간 정보를 토대로, 상기 음가구성정보의 인접된 음가 사이에 전이구간을 배정한다. 이때, 전이구간 배정부(105)는 전이구간이 배정되는 인접 음가의 발성길이 일부를 상기 전이구간의 발성길이로 배정한다.
도 3은 본 발명의 일 실시예에 따른 전이구간이 배정된 음가구성정보를 나타내는 도면으로서, 도 3을 참조하여 설명하면 전이구간 배정부(105)는 전이구간정보 저장부(104)에 저장된 인접음가별 전이구간 정보를 토대로, 음가구성정보인 /bred/에서 음가 /b/와 /r/ 사이에 't1'의 전이구간(320)을 배정하고 음가 /r/와 /e/ 사이에 't2'의 전이구간(340)을 배정하며, 더불어 음가 /e/ 와 /d/ 사이에 't3'의 전이구간(360)을 배정한다. 이때, 전이구간 배정부(105)는 't1'의 전이구간이 배정되는 시간(즉, 전이구간 발성길이)을 확보하기 위하여, 상기 't1'의 전이구간(320)과 인접된 음가 /b/와 /r/의 발성길이를 줄인다. 마찬가지로, 전이구간 배정부(105)는, 't2', 't3'의 전이구간(340, 360)을 확보하기 위하여 음가 /r/, /e/, /d/의 발성길이를 줄인다. 이에 따라, 상기 음가구성정보에서 음가별 발성길이(310, 330, 350, 370)와 전이구간(320, 340, 360)이 서로 구분된다.
한편, 전이구간 배정부(105)는 입력부(101)에서 음성정보가 입력된 경우, 음성인식을 통해 추출된 음가들의 실제 발성길이가 음가정보 저장부(102)에 저장된 일반적(또는 대표적) 발성길이와 다를 수 있기 때문에, 전이구간 저장부(102)에 추출한 전이구간 시간정보를 전이구간 앞뒤로 인접한 두 음가들의 실제 발성길이에 적합하게 보정하여 적용한다. 즉, 전이구간 배정부(105)는 인접한 두 음가들의 실제 발성길이가 일반적 발성길이보다 긴 경우 두 음가 사이의 전이구간도 길게 배정하고, 실제 발성길이가 일반적 발성길이보다 짧을 경우 전이구간도 짧게 배정한다.
음가문맥정보 저장부(106)는 각 음가의 앞 또는/및 뒤 음가(즉, 문맥)를 고려하여, 각 음가를 하나 이상의 음가로 세분화시킨 세부음가를 저장한다. 즉, 음가문맥정보 저장부(106)는 각 음가의 앞 또는 뒤 문맥을 고려하여, 각 음가를 하나 이상의 실제 소리값으로 세분화시킨 세부음가를 각각의 음가별로 저장한다.
아래의 표 2는 본 발명의 일 실시예에 따른, 앞 또는 뒤 문맥이 고려된, 음가문맥정보 저장부(106)에서 저장하는 세부음가를 나타내는 도면이다.

음가
앞 음가
뒤 음가
세부음가

b
N/A
r
b/_r

b
e
r
b/e_r

r
b
e
r/b_e

r
c
d
r/c_d

e
t
N/A
e/t_

e
r
d
e/r_d

d
e
N/A
d/e_

...
표 2를 참조하면, 음가문맥정보 저장부(106)는 음가 /b/의 앞에 다른 음가가 존재하지 않고, 뒤에 음가 /r/이 존재하는 경우에 상기 음가 /b/의 세부음가로서 'b/_r'을 저장하고, 음가 /b/의 앞에 음가 /e/ 오고 뒤에 음가 /r/이 오는 경우에 상기 음가 /b/의 세부음가로서 'b/e_r'을 저장한다.
음가문맥 적용부(107)는 음가문맥정보 저장부(106)에 저장된 세부음가를 참조하여, 전이구간이 배정된 음가구성정보에 세부음가 리스트를 포함시킴으로써 상기 음가구성정보를 재구성한다. 구체적으로, 음가문맥 적용부(107)는 전이구간이 배정된 음가구성정보에서 각 음가와 인접되는 음가를 확인하고, 이를 토대로 음가구성정보에 포함된 각 음가와 대응하는 세부음가를 음가문맥정보 저장부(106)에서 추출하여 상기 음가구성정보의 음가 리스트와 대응되는 세부음가 리스트를 생성한다. 아울러, 음가문맥 적용부(107)는 상기 세부음가 리스트를 상기 음가구성정보에 포함시킴으로써, 전이구간이 배정된 음가구성정보를 재구성한다.
도 4는 본 발명의 일 실시예에 따른, 세부음가를 포함하는 음가구성정보를 나타내는 도면이다.
도 4를 참조하면, 음가문맥 적용부(107)는 전이구간이 배정된 음가구성정보(즉, /bred/)에서 각 음가(즉, /b/, /r/, /e/, /d/)와 인접하는 음가를 확인한다. 즉, 음가문맥 적용부(107)는 음가 /b/의 뒤에 오는 음가가 /r/이고, 음가 /r/의 앞과 뒤에 배열된 음가가 /b/, /e/이며, 음가 /e/의 앞과 뒤에 배열된 음가가 /r/, /d/이고, 음가 /d/의 앞에 오는 음가가 /e/임을 상기 음가구성정보(즉, /bred/)에서 확인한다. 더불어, 음가문맥 적용부(107)는 확인된 인접 음가를 토대로, 음가문맥정보 저장부(106)에서 각 음가와 대응하는 세부음가를 추출한다. 즉, 음가문맥 적용부(107)는 음가 /b/의 세부음가로 'b/_r' 음가 /r/의 세부음가로 'r/b_e', 음가 /e/의 세부음가로 'e/r_d' 및 음가 /d/의 세부음가로 'd/e_'를 음가문맥정보 저장부(106)에서 추출하고, 이를 토대로 세부음가 리스트인 'b/_r,r/b_e,e/r_d,d/e_'를 생성한다. 게다가, 음가문맥 적용부(107)는 상기 생성한 세부음가 리스트를 음가구성정보에 포함시킴으로써, 상기 전이구간이 배정된 음가구성정보를 재구성한다.
한편, 음가문맥정보 저장부(106)는 각 세부음가별로 보다 세분화된 일반적 또는 대표적 발성길이를 저장할 수 있으며, 이 경우 음가문맥 적용부(107)는 음가구성정보 생성부(103)가 배정한 발성길이를 대신하여 상기 세분화된 발성길이를 적용할 수도 있다. 그러나, 바람직하게는, 음가구성정보 생성부(103)가 배정한 발성길이가 음성인식을 통해 추출된 실제 발성길이인 경우 이를 그대로 적용한다.
또한, 음가문맥정보 저장부(106)는 뒤 음가만을 고려하여 음가를 세분화한 세부음가들을 저장하고 있을 수도 있는데, 이 경우 음가문맥적용부(107)는 음가구성정보에서 뒤 음가만을 고려하여 상기 음가문맥정보 저장부(106)로부터 각 음가들의 세부음가를 검출하여 적용한다.
발음형태정보 저장부(108)는 세부음가에 대응하는 발음형태정보를 저장하고, 더불어 각각의 전이구간에 대한 발음형태정보를 저장한다. 여기서, 발음형태정보란 특정 세부음가가 발성될 때, 입, 혀, 턱, 입안, 연구개, 경구개, 코, 목젖 등의 조음기관의 형태에 관한 정보이다. 또한, 전이구간의 발음형태정보는 제1세부음가와 제2세부음가가 연이여 발음될 때, 이 두 발음 사이에서 나타나는 조음기관의 변화형태에 관한 정보를 의미한다. 또한, 발음형태정보 저장부(108)는 특정 전이구간에 대한 발음형태정보로서 2개 이상의 발음형태정보를 저장할 수도 있으며, 발음형태정보 자체를 저장하지 않을 수도 있다. 아울러, 발음형태정보 저장부(108)는 상기 발음형태정보로서, 조음기관의 대표 이미지를 저장하거나 상기 대표 이미지를 생성할 때 근거가 되는 벡터값을 저장한다.
발음형태 검출부(109)는 음가구성정보에 포함된 세부음가와 전이구간에 대응하는 발음형태정보를 발음형태정보 저장부(108)에서 검출한다. 이때, 발음형태 검출부(109)는 음가문맥 적용부(107)에서 재구성한 음가구성정보에서 인접된 세부음가를 참조하여, 각각의 전이구간에 대한 발음형태정보를 발음형태정보 저장부(108)에서 검출한다. 아울러, 발음형태 검출부(109)는 상기 검출된 발음형태정보와 음가구성정보를 애니메이션 생성부(110)로 전달한다. 또한, 발음형태 검출부(109)는 상기 음가구성정보에 포함된 특정 전이구간에 대한 2개 이상의 발음형태정보를 발음형태정보 저장부(108)에서 추출하여, 애니메이션 생성부(110)로 전달할 수도 있다.
한편, 상기 음가구성정보에 포함된 전이구간의 발음형태정보가 발음형태정보 저장부(108)에서 검출되지 않을 수 있다. 즉, 특정 전이구간에 대한 발음형태정보가 발음형태정보 저장부(108)에 저장되지 않고, 이에 따라 발음형태 검출부(109)는 해당 전이구간과 대응하는 발음형태정보를 발음형태정보 저장부(108)에서 검출하지 못한다. 예를 들어, 음가 /t/와 음가 /s/ 사이의 전이구간에 별도의 발음형태정보가 배정되지 않아도, 상기 음가 /t/에 대응하는 발음형태정보와 상기 음가 /s/에 대응하는 발음형태정보를 단순 보간하여 상기 전이구간에 대한 발음형태정보를 원어민과 근접하게 생성할 수 있다.
애니메이션 생성부(110)는 각 세부음가의 발성길이와 전이구간에 근거하여 각각의 발음형태정보를 키프레임으로서 배정한 후, 이렇게 배정된 각 키프레임 사이를 애니메이션 보간기법을 통해 보간하여 상기 문자정보와 대응하는 발음기관 애니메이션을 생성한다. 구체적으로, 애니메이션 생성부(110)는 각 세부음가와 대응하는 발음형태정보를 해당 세부음가의 발성길이에 대응하는 발성시작시점과 발성종료시점의 키프레임으로 배정한다. 아울러, 애니메이션 생성부(110)는 세부음가의 발성길이 시작시점과 종료시점에 근거하여 배정된 두 키프레임 사이를 보간하여 키프레임 사이에 비어있는 일반프레임을 생성한다.
아울러, 애니메이션 생성부(110)는 전이구간별 발음형태정보를 해당 전이구간의 중간시점에 키프레임으로서 각각 배정하고, 이렇게 배정한 전이구간의 키프레임(즉, 전이구간 발음형태정보)과 상기 전이구간 키프레임 앞에 배정된 키프레임 사이를 보간하고, 더불어 상기 전이구간의 키프레임과 상기 전이구간 키프레임 뒤에 배정된 키프레임을 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다.
바람직하게, 애니메이션 생성부(110)는 특정 전이구간에 대한 발음형태정보가 2개 이상인 경우, 각각의 발음형태정보가 일정 시간간격으로 이격되도록 각각의 발음형태정보를 상기 전이구간에 배정하고, 상기 전이구간에 배정된 해당 키프레임과 인접된 키프레임 사이를 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다. 한편, 애니메이션 생성부(110)는 특정 전이구간에 대한 발음형태정보가 상기 발음형태 검출부(109)에 의해 검출되지 않은 경우, 해당 전이구간의 발음형태정보를 배정하지 않고, 상기 전이구간과 인접한 두 세부음가의 발음형태정보 사이를 보간하여 상기 전이구간에 배정되는 일반프레임을 생성한다.
도 5는 본 발명의 일 실시예에 따른, 키프레임과 일반프레임이 배정된 발음기관 애니메이션을 나타내는 도면이다.
도 5를 참조하면, 애니메이션 생성부(110)는 음가구성정보에 포함된 각 세부음가와 대응하는 발음형태정보(511, 531, 551, 571)를 해당 세부음가의 발성길이가 시작하는 지점과 끝나는 지점에 키프레임으로서 각각 배정한다. 더불어, 애니메이션 생성부(110)는 각 전이구간과 대응하는 발음형태정보(521, 541, 561)를 키프레임으로서 해당 전이구간의 중간시점에 배정한다. 이때, 애니메이션 생성부(110)는 특정 전이구간에 대한 발음형태정보가 2개 이상인 경우, 각각의 발음형태정보가 일정 시간간격으로 이격되도록 각각의 발음형태정보를 해당 전이구간에 배정한다.
이렇게 키프레임의 배정이 완료되면, 애니메이션 생성부(110)는 도 5의 (b)와 같이, 인접한 키프레임 사이를 보간하여 키프레임 사이에 비어있는 일반프레임을 생성함으로써, 연속적인 프레임이 배열되는 하나의 발음기관 애니메이션을 완성한다. 도 5의 (b)에서는 빗금이 칠해진 프레임이 키프레임이고 빗금이 칠해지지 않은 프레임이 애니메이션 보간기법을 통해 생성된 일반프레임이다.
한편, 애니메이션 생성부(110)는 특정 전이구간에 대한 발음형태정보가 상기 발음형태 검출부(109)에 의해 검출되지 않은 경우, 해당 전이구간의 발음형태정보를 배정하지 않고, 상기 전이구간과 인접한 두 세부음가의 발음형태정보 사이를 보간하여 상기 전이구간에 배정되는 일반프레임을 생성한다. 도 5의 (b)에서 참조부호 541에 해당하는 발음형태정보가 발음형태 검출부(109)에 의해 검출되지 않은 경우, 애니메이션 생성부는 해당 전이구간(340)과 인접한 두 세부음가의 발음형태정보(532, 551)를 보간하여 상기 전이구간(340)에 배정되는 일반프레임을 생성한다.
애니메이션 생성부(110)는 혀, 입안, 목젖(연구개) 등의 입속에 위치한 조음기관의 변화형태를 표출하기 위하여, 도 6에 도시된 바와 같이 얼굴의 측단면에 대한 애니메이션을 생성하고, 원어민의 입술 변화형태를 표출하기 위하여 얼굴 정면에 대한 애니메이션을 추가로 생성한다. 한편, 애니메이션 생성부(110)는 입력부(101)에서 음성정보가 입력된 경우 상기 음성정보와 동기화된 애니메이션을 생성한다. 즉, 애니메이션 생성부(110)는 발음기관 애니메이션의 총 발성길이가 상기 음성정보의 발성길이와 일치되도록 동기화하여 발음기관 애니메이션을 생성한다.
표출부(111)는 도 6에 도시된 바와 같이, 입력된 문자정보의 소리값을 나타내는 음가 리스트, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가 리스트, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간 중 하나 이상을 발음기관 애니메이션과 함께 액정표시수단 등의 디스플레이수단에 출력한다. 이때, 표출부(111)는 문자정보에 대응되는 원어민의 음성정보를 스피커를 통해 출력할 수도 있다.
애니메이션 조율부(112)는 입력된 문자정보의 소리값을 나타내는 음가 리스트, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가 리스트, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간 또는 발음형태정보가 사용자에 의해 재설정될 수 있는 인터페이스를 제공한다. 즉, 애니메이션 조율부(112)는 상기 발음기관 애니메이션을 조율할 수 있는 인터페이스를 사용자에게 제공하고, 음가 리스트에 포함된 개별 음가, 음가별 발성길이, 음가 사이에 배정된 전이구간, 세부음가, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간, 발음형태정보 중에서 하나 이상의 재설정 정보를 입력부(101)를 통해 사용자로부터 입력받는다. 다시 말하면, 사용자는 상기 음가 리스트에 포함된 개별 음가, 특정 음가에 대한 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함되는 세부음가, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간 또는 발음형태정보를 마우스, 키보드 등의 입력수단을 이용하여 재설정한다.
이 경우, 애니메이션 조율부(112)는 사용자에 의해 입력된 재설정 정보를 확인하고, 이 재설정 정보를 음가구성정보 생성부(103), 전이구간 배정부(105), 음가문맥 적용부(107) 또는 발음형태 검출부(109)로 선택적으로 전달한다.
구체적으로, 애니메이션 조율부(112)는 문자정보의 소리값을 구성하는 개별 음가에 대한 재설정 정보 또는 음가의 발성길이에 대한 재설정 정보를 수신하면, 이 재설정된 정보를 음가구성정보 생성부(103)에 전달하고, 음가구성정보 생성부(103)는 상기 재설정된 정보를 반영하여 음가구성정보를 재생성한다. 아울러, 전이구간 배정부(105)는 재생성된 음가구성정보에서 인접된 음가를 확인하고, 이를 토대로 음가구성정보에서 전이구간을 다시 배정한다. 아울러, 음가문맥 적용부(107)는 전이구간이 재배정된 음가구성정보를 토대로, 세부음가와 세부음가별 발성길이, 세부음가 사이에 전이구간이 배정된 음가구성정보를 재구성하고, 발음형태 검출부(109)는 상기 재구성된 음가구성정보를 토대로 각 세부음가와 전이구간에 대응하는 발음형태정보를 다시 추출한다. 게다가, 애니메이션 생성부(110)는 상기 재추출된 발음형태정보를 토대로 발음기관 애니메이션을 재생성하여 표출부(111)에 출력한다.
또는, 애니메이션 조율부(112)는 음가 사이에 배정된 전이구간의 재설정 정보를 사용자로부터 입력받으면 상기 재설정 정보를 전이구간 배정부(105)로 전달하고, 전이구간 배정부(105)는 상기 재설정 정보가 반영되도록 인접 음가 사이의 전이구간을 다시 배정한다. 아울러, 음가문맥 적용부(107)는 전이구간이 재배정된 음가구성정보를 토대로, 세부음가와 세부음가별 발성길이, 세부음가 사이에 전이구간이 배정된 음가구성정보를 재구성하고, 발음형태 검출부(109)는 상기 재구성된 음가구성정보를 토대로 각 세부음가와 전이구간에 대응하는 발음형태정보를 다시 추출한다. 게다가, 애니메이션 생성부(110)는 상기 재추출된 발음형태정보를 토대로 발음기관 애니메이션을 재생성하여 표출부(111)에 출력한다.
또한, 애니메이션 조율부(112)는 세부음가의 수정, 세부음가의 발성길이 조정, 전이구간의 조정 등의 재설정 정보를 사용자로부터 수신하면, 상기 재설정 정보를 음가문맥 적용부(107)로 전달하고, 음가문맥 적용부(107)는 상기 재설정 정보를 토대로, 음가구성정보를 다시 한번 재구성한다. 마찬가지로, 발음형태 검출부(109)는 상기 재구성된 음가구성정보를 토대로 각 세부음가와 전이구간에 대응하는 발음형태정보를 다시 추출하고, 애니메이션 생성부(110)는 상기 재추출된 발음형태정보를 토대로 발음기관 애니메이션을 재생성하여 표출부(111)에 출력한다.
한편, 애니메이션 조율부(112)는 각각의 발음형태정보에서 어느 하나에 대한 변경정보를 사용자로부터 수신하면, 상기 변경된 발음형태정보를 발음형태 검출부(109)로 전달하고, 발음형태 검출부(109)는 해당 발음형태정보를 상기 전달받은 발음형태정보로 변경한다. 아울러, 애니메이션 생성부(110)는 상기 변경된 발음형태정보를 토대로, 발음기관 애니메이션을 재생성하여 표출부(111)에 출력한다.
도 7은 본 발명의 일 실시예에 따른, 발음기관 애니메이션 생성 장치에서 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 방법을 설명하는 순서도이다.
도 7을 참조하면, 입력부(101)는 음소(phoneme), 음절(syllable), 단어, 구(phrase) 또는 문장 등이 포함된 문자정보를 사용자로부터 입력받는다(S701). 선택적으로, 입력부(101)는 문자정보 대신에 음성정보를 입력받거나 문자정보와 음성정보 모두를 사용자로부터 입력받는다.
그러면, 음가구성정보 생성부(103)는 상기 문자정보에 배열된 각 단어를 확인한다. 그리고 음가구성정보 생성부(103)는 단어별 음가정보와 상기 음가정보에 포함된 음가별 발성길이를 음가정보 저장부(102)에서 추출한다. 다음으로, 음가구성정보 생성부(103)는 상기 추출된 음가정보와 음가별 발성길이를 토대로 상기 문자정보에 대응하는 음가구성정보를 생성한다(S703, 도 2 참조). 상기 음가구성정보에는 발성길이가 할당된 음가 리스트가 포함된다. 한편, 음가구성정보 생성부(103)는 입력부(101)에서 음성정보가 입력된 경우, 입력받은 음성정보에 대한 음성인식을 통해 상기 음성정보를 구성하는 음가들과 상기 음가별 발성길이를 분석하여 추출하고, 이를 토대로 상기 음성정보에 대응하는 음가구성정보를 생성한다.
다음으로, 전이구간 배정부(105)는 전이구간정보 저장부(104)의 인접음가별 전이구간 정보를 토대로 상기 음가구성정보의 인접된 음가 사이에 전이구간을 배정한다(S705, 도 3 참조). 이때, 전이구간 배정부(105)는 전이구간이 배정되는 음가의 발성길이 일부를 상기 전이구간의 발성길이로 배정한다.
이렇게 음가구성정보에 전이구간이 배정되면, 음가문맥 적용부(107)는 전이구간이 배정된 음가구성정보에서 각 음가와 인접되는 음가를 확인하고, 이를 토대로 각 음가와 대응하는 세부음가를 음가문맥정보 저장부(106)에서 추출하여 상기 음가 리스트에 대응하는 세부음가 리스트를 생성한다(S707). 이어서, 음가문맥 적용부(107)는 상기 음가구성정보에 상기 세부음가 리스트를 포함시킴으로써, 전이구간이 배정된 음가구성정보를 재구성한다(S709).
발음형태 검출부(109)는 재구성된 음가구성정보에서 세부음가에 대응하는 발음형태정보를 발음형태정보 저장부(108)에서 검출하고, 더불어 전이구간에 대응하는 발음형태정보를 발음형태정보 저장부(108)에서 검출한다(S711). 이때, 발음형태 검출부(109)는 상기 음가구성정보에서 인접된 세부음가를 참조하여, 각각의 전이구간에 대한 발음형태정보를 발음형태정보 저장부(108)에서 검출한다. 아울러, 발음형태 검출부(109)는 상기 검출된 발음형태정보와 음가구성정보를 애니메이션 생성부(110)로 전달한다.
그러면, 애니메이션 생성부(110)는 상기 음가구성정보에 포함된 각 세부음가와 대응하는 발음형태정보를 해당 세부음가의 시작시점 및 종료시점 키프레임으로 배정하고, 더불어 각 전이구간과 대응하는 발음형태정보를 상기 전이구간의 키프레임으로 배정한다. 즉, 애니메이션 생성부(110)는 각 세부음가의 발음형태정보가 해당 발성길이만큼 재생되도록 키프레임을 배정하고, 전이구간의 발음형태정보는 해당 전이구간 내의 특정 시점에만 표출되도록 배정한다. 이어서, 애니메이션 생성부(110)는 애니메이션 보간기법을 통해 키프레임(즉, 발음형태정보) 사이의 비어있는 일반프레임을 생성하여 하나의 완성된 발음기관 애니메이션을 생성한다(S713). 이때, 애니메이션 생성부(110)는 특정 전이구간과 대응하는 발음형태정보가 존재하지 않은 경우, 상기 전이구간과 인접된 발음형태정보를 보간하여 상기 전이구간에 해당하는 일반프레임을 생성한다. 한편, 애니메이션 생성부(110)는 특정 전이구간에 대한 발음형태정보가 2개 이상인 경우, 각각의 발음형태정보가 일정 시간간격으로 이격되도록 각각의 발음형태정보를 상기 전이구간에 배정하고, 상기 전이구간에 배정된 해당 키프레임과 인접된 키프레임 사이를 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다.
이렇게 발음기관 애니메이션이 생성되면, 표출부(111)는 입력부(101)에서 입력받은 문자정보의 소리값을 나타내는 음가 리스트, 음가구성정보에 포함된 세부음가와 전이구간 및 발음기관 애니메이션을 액정표시수단 등의 디스플레이수단에 출력한다(S715). 이때, 표출부(111)는 문자정보에 대응되는 원어민의 음성정보 또는 입력부(101)에서 입력받은 사용자의 음성정보를 스피커를 통해 출력한다.
한편, 발음기관 애니메이션 생성 장치는 표출부(111)에 표출된 발음기관 애니메이션에 대한 재설정 정보를 사용자로부터 입력받을 수 있다. 즉, 발음기관 애니메이션 생성 장치의 애니메이션 조율부(112)는 음가 리스트에 포함된 개별 음가, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가 리스트, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간, 발음형태정보 대한 하나 이상의 재설정 정보를 입력부(101)를 통해 사용자로부터 입력받는다. 이 경우, 애니메이션 조율부(112)는 사용자에 의해 입력된 재설정 정보를 확인하고, 이 재설정 정보를 음가구성정보 생성부(103), 전이구간 배정부(105), 음가문맥 적용부(107) 또는 발음형태 검출부(109)로 선택적으로 전달한다. 이에 따라, 음가구성정보 생성부(103)가 재설정 정보를 토대로 음가구성정보를 재생성하거나 전이구간 배정부(105)가 인접된 음가 사이의 전이구간을 재배정한다. 또는, 음가문맥 적용부(107)가 상기 재설정 정보를 토대로 음가구성정보를 다시 한번 재구성하거나, 발음형태 검출부(109)가 S711 단계에서 추출한 발음형태정보를 재설정된 발음형태정보로 변경한다.
즉, 발음기관 애니메이션 생성 장치는 애니메이션 조율부(112)를 통하여 재설정 정보가 사용자로부터 수신되면, 이 재설정 정보에 따라 S703 단계 내지 S715 단계 전부를 다시 실행하거나, S703 단계에서부터 S715 단계 중에서 일부를 선택적으로 다시 실행한다.
이하, 본 발명의 다른 실시예에 따른 발음기관 애니메이션 생성 장치 및 방법을 설명한다.
도 8은 본 발명의 다른 실시예에 따른, 발음기관 애니메이션을 생성하는 장치의 구성을 나타내는 도면이다.
이하, 도 8의 참조부호에서 도 1과 동일한 참조부호로 기재된 구성요소는 도 1을 참조한 설명과 동일한 기능을 수행하므로 자세한 설명은 생략한다.
도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따른, 발음기관 애니메이션 생성 장치는 입력부(101), 음가정보 저장부(102), 음가구성정보 생성부(103), 전이구간정보 저장부(104), 전이구간 배정부(105), 음가문맥정보 저장부(106), 음가문맥 적용부(107), 조음부호정보 저장부(801), 조음구성정보 생성부(802), 발음형태정보 저장부(803), 발음형태 검출부(804), 애니메이션 생성부(805), 표출부(806) 및 애니메이션 조율부(807)를 포함한다.
조음부호정보 저장부(801)는 세부음가와 대응하는 조음부호를 조음기관별 구분하여 저장한다. 상기 조음부호는 세부음가가 조음기관에 의해 발성될 때, 각 조음기관의 상태를 식별가능한 부호로서 표현한 것으로서, 조음부호정보 저장부(801)는 각각의 음가에 대응한 조음부호를 조음기관별로 저장한다. 바람직하게, 조음부호정보 저장부(801)는 앞 또는 뒤 음가를 고려하여 발성관여 정도가 포함된 조음기관별 조음부호를 저장한다. 구체적인 예를 들어 설명하면, 음가 /b/와 /r/이 연이어 발성되는 경우에 조음기관 중 입술은 주로 음가 /b/의 발성에 관여하고 혀는 주로 음가 /r/의 발성에 관여한다. 따라서 음가 /b/와 /r/이 연이어 발성되는 경우 조음기관 입술이 음가 /b/의 발성에 관여하고 있는 동안에도 조음기관 혀는 미리 음가 /r/의 발성에 관여하게 된다. 조음부호정보 저장부(801)는 이러한 앞 또는 뒤 음가를 고려하여 발성관여 정도가 포함된 조음부호를 저장한다.
게다가, 조음부호정보 저장부(801)는 두 음가를 구별하는 데에 있어서 특정 조음기관의 역할이 두드러지게 중요하고 나머지 조음기관들의 역할은 미비하면서 유사하면, 상기 두 음가가 연이어 발성될 때 발음의 경제성에 따라, 역할이 미비하면서 유사한 형태인 조음기관은 어느 한쪽의 형태로 일치시켜 발성하는 경향이 있음을 반영하여, 연속한 두 음가에서 역할이 미비하면서 유사한 형태인 조음기관에 대한 조음부호를 후자의 조음부호로 변경하여 저장한다. 예를 들어, 음가 /m/ 다음에 음가 /f/가 오는 경우, 음가 /m/과 /f/를 구별하는 결정적인 역할은 목젖(연구개)이 수행하고 입술부위는 상대적으로 미약한 역할만을 수행하면서 그 형태가 유사함으로 인하여, 음가 /m/ 발성시 입술부위를 음가 /f/ 발성시의 형태로 유지하는 경향이 있는데, 조음부호정보 저장부(801)는 이렇게 동일한 음가에 대해서도 앞 또는 뒤 음가에 따라 상이한 조음부호를 조음기관별로 구분하여 저장한다.
조음구성정보 생성부(802)는 음가문맥 적용부(107)에서 음가구성정보를 재구성하면, 각 세부음가와 대응되는 조음부호를 조음부호정보 저장부(801)에서 조음기관별로 구분하여 추출한다. 게다가, 조음구성정보 생성부(802)는 상기 음가구성정보에 포함된 세부음가별 발성길이를 확인하고, 상기 세부음가별 발성길이에 대응되도록 조음부호별 발성길이를 할당한다. 한편, 조음부호정보 저장부(801)에 각각의 조음부호에 대한 발성관여 정도가 발성길이 형태로 저장되어 있으면, 조음구성정보 생성부(802)는 상기 조음부호정보 저장부(801)에서 조음부호별 발성길이를 추출하여, 이를 토대로 해당 조음부호의 발성길이를 할당한다.
또한, 조음구성정보 생성부(802)는 각 조음부호와 조음부호별 발성길이를 조합하여 해당 조음기관에 대한 조음구성정보를 생성하되, 상기 음가구성정보에 포함된 전이구간과 대응하여 상기 조음구성정보에서 전이구간을 할당한다. 한편, 조음구성정보 생성부(802)는 상기 조음구성정보에 포함된 각 조음부호의 발성관여 정도를 토대로, 각 조음부호의 발성길이 또는 전이구간의 발성길이를 재설정할 수 있다.
도 9는 본 발명의 다른 실시예에 따른, 각 조음기관에 대한 조음구성정보를 나타내는 도면이다.
도 9의 (a)를 참조하면, 조음구성정보 생성부(802)는 음가구성정보에 포함된 각 세부음가(즉, 'b/_r', 'r/b_e', 'e/r_d', 'd/e_')와 대응하는 조음부호를 조음기관별로 구분하여 음가문맥정보 저장부(106)에서 추출한다. 즉, 음가문맥 적용부(107)는 세부음가 'b/_r' 'r/b_e', 'e/r_d, 'd/e_'와 각각 대응하는 혀의 조음부호로서 /pi/, /r/, /eh/, /t/를, 입술의 조음부호로서 /p/, /ri/, /eh/, /t/를, 목젖의 조음부호로서 /X/, /X/, /X/, /X/를 각각 추출한다. 여기서 'X'는 조음기관이 해당 세부음가의 발성에 관여하지 않음을 나타내는 정보이고, 더불어 'pi'와 'ri'에서 아래첨자 'i'는 조음부호 /p/ 및 /r/이 해당 조음기관에서 발성에 관여하는 정도가 약함을 나타내는 정보이다. 구체적으로, 세부음가 'b/_r', 'r/b_e', 'e/r_d' 및 'd/e_'를 포함하는 음가구성정보에 있어서, 혀의 조음구성정보인 /pireht/는 혀가 세부음가 'b/_r'를 발음하기 위해서 입속에서 미세하게 작용하는 것을 나타내며, 또한 목젖의 조음구성정보인 /XXXX/는 상기 음가구성정보에 포함된 세부음가를 연이어 발음할 때 목젖이 모두 닫혀 있음을 나타낸다. 또한, 입술의 조음구성정보인 /prieht/에서 'ri'는 입술이 세부음가 'r/b_e'의 발음에 관여하기 위하여 미세하게 작용하는 것을 나타낸다.
조음구성정보 생성부(802)는 상기 추출한 조음부호를 토대로, 혀의 조음구성정보인 /pireht/, 입술의 조음구성정보인 /prieht/, 목젖의 조음구성정보인 /XXXX/를 각각 생성하되, 상기 음가구성정보의 세부음가별 발성길이와 대응되게 각 조음부호의 발성길이를 배정하고 상기 음가구성정보에 배정된 전이구간과 동일하게 인접된 조음부호 사이의 전이구간을 배정한다.
한편, 조음구성정보 생성부(802)는 각 조음부호의 발성관여 정도를 토대로, 조음구성정보에 포함된 조음부호의 발성길이 또는 전이구간의 발성길이를 재설정할 수 있다.
도 9의 (b)를 참조하면, 조음구성정보 생성부(802)는 혀의 조음구성정보 /pireht/에서 혀가 세부음가 'b/_r'의 발음에 미세하게 관여함을 확인하고, 이에 따라 세부음가 'b/_r'이 다른 조음기관에 의해 발음되는 시점에서 혀가 세부음가 'b/_r'에 대한 발음을 준비하는 경향을 반영하기 위하여, 세부음가 'b/_r'에 대응되는 조음부호 /pi/의 발성길이 일부를 조음부호 /r/이 발성되는 길이로 배정한다. 즉, 조음구성정보 생성부(802)는 발음에 별로 관여하지 않은 조음부호 /pi/에 대한 발성시간을 줄이고, 그 줄어든 /pi/의 발성시간을 인접된 조음부호인 /r/의 발성길이에 가산시킨다. 또한, 조음구성정보 생성부(802)는 입술이 세부음가 'r/b_e'의 발음에 거의 관여하지 않음에 따라, 입술의 조음구성정보(즉, /prieht/)에서 조음부호 /ri/의 발성길이를 줄이고, 이 줄어든 발성길이만큼 인접된 조음부호(즉, /p/와 /eh/)의 발성길이를 길게 한다.
한편, 조음부호정보 저장부(801)는 조음부호별 발음관여 정도를 저장하지 않을 수도 있으며, 이 경우 조음구성정보 생성부(802)는 각각의 조음부호가 발성에 관여하는 정도에 관한 정보를 저장하고, 이 저장된 정보를 토대로 각 조음부호의 발성관여 정도를 확인하여 조음구성정보에 포함된 조음부호별 발성길이와 전이구간을 조음기관별로 재설정할 수 있다.
발음형태정보 저장부(803)는 조음부호에 대응하는 발음형태정보를 조음기관별로 구분하여 저장하고, 더불어 인접된 조음부호에 따른 전이구간의 발음형태정보를 조음기관별로 구분하여 저장한다.
발음형태 검출부(804)는 조음구성정보에 포함된 조음부호와 전이구간에 대응하는 발음형태정보를 발음형태정보 저장부(803)에서 조음기관별로 구분하여 검출한다. 이때, 발음형태 검출부(804)는 조음구성정보 생성부(802)에서 생성한 조음구성정보에서 인접된 조음부호를 참조하여, 각각의 전이구간에 대한 발음형태정보를 발음형태정보 저장부(803)에서 조음기관별로 구분하여 검출한다. 아울러, 발음형태 검출부(804)는 상기 검출된 조음기관별 발음형태정보와 조음구성정보를 애니메이션 생성부(805)로 전달한다.
애니메이션 생성부(805)는 발음형태 검출부(804)로부터 전달받은 조음구성정보와 발음형태정보를 토대로, 조음기관별 애니메이션을 생성하고, 이를 하나로 합성하여 상기 입력부(101)에서 수신한 문자정보에 대응하는 발음기관 애니메이션을 생성한다. 구체적으로, 애니메이션 생성부(805)는 각 조음부호에 대응하는 발음형태정보를 해당 조음부호의 발성길이 시작시점과 끝시점에 대응되도록 키프레임으로서 각각 배정하고, 더불어 각 전이구간과 대응하는 발음형태정보를 해당 전이구간의 키프레임으로 배정한다. 즉, 애니메이션 생성부(805)는 각 조음부호의 발음형태정보가 해당 발성길이만큼 재생되도록 발음형태정보를 조음부호의 발성시작시점과 발성종료시점에 대응되도록 키프레임으로서 각각 배정하고, 전이구간의 발음형태정보를 해당 전이구간 내의 특정 시점에만 표출되도록 키프레임으로 배정한다. 아울러, 애니메이션 생성부(805)는 애니메이션 보간기법을 통해 키프레임(즉, 발음형태정보) 사이의 비어있는 일반프레임을 생성하여 조음기관별로 애니메이션을 생성하고, 이 조음기관별 애니메이션을 하나의 발음기관 애니메이션으로 합성한다.
부연하면, 애니메이션 생성부(805)는 각 조음부호별 발음형태정보를 해당 조음부호의 발성길이에 대응하는 발성시작시점과 발성종료시점의 키프레임으로서 배정한다. 아울러, 애니메이션 생성부(805)는 조음부호의 발성길이 시작시점과 종료시점에 근거하여 배정된 두 키프레임 사이를 보간하여 상기 두 개의 키프레임 사이에 비어있는 일반프레임을 생성한다. 또한, 애니메이션 생성부(805)는 조음부호 사이에 배정된 전이구간별 발음형태정보를 해당 전이구간의 중간시점에 키프레임으로서 각각 배정하고, 이렇게 배정한 전이구간의 키프레임(즉, 전이구간 발음형태정보)과 상기 전이구간 키프레임 앞에 배정된 키프레임 사이를 보간하고, 더불어 상기 전이구간의 키프레임과 상기 전이구간 키프레임 뒤에 배정된 키프레임을 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다. 바람직하게, 애니메이션 생성부(805)는 조음부호 사이에 배정된 특정 전이구간에 대한 발음형태정보가 2개 이상인 경우, 각각의 발음형태정보가 일정 시간간격으로 이격되도록 각각의 발음형태정보를 상기 전이구간에 배정하고, 상기 전이구간에 배정된 해당 키프레임과 인접된 키프레임 사이를 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다. 한편, 애니메이션 생성부(805)는 조음부호 사이에 배정된 어느 한 전이구간에 대한 발음형태정보가 상기 발음형태 검출부(804)에 의해 검출되지 않은 경우, 해당 전이구간의 발음형태정보를 배정하지 않고, 상기 전이구간과 인접하고 있는 두 조음부호의 발음형태정보 사이를 보간하여 상기 전이구간에 배정되는 일반프레임을 생성한다.
표출부(806)는 도 10에 도시된 바와 같이, 입력된 문자정보의 소리값을 나타내는 음가 리스트, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간, 조음구성정보에 포함된 조음부호, 조음부호별 발성길이, 조음부호 사이에 배정된 전이구간 및 발음기관 애니메이션을 액정표시수단 등의 디스플레이수단에 출력한다.
애니메이션 조율부(807)는 음가 리스트에 포함된 개별음가, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간, 조음구성정보에 포함된 조음부호, 조음부호별 발성길이, 조음부호 사이에 배정된 전이구간 또는 발음형태정보가 사용자에 의해 재설정될 수 있는 인터페이스를 제공한다. 또한, 애니메이션 조율부(807)는 사용자로부터 재설정 정보를 입력받으면, 상기 재설정 정보를 음가구성정보 생성부(103), 전이구간 배정부(105), 음가문맥 적용부(107), 조음구성정보 생성부(802) 또는 발음형태 검출부(804)로 선택적으로 전달한다.
구체적으로, 애니메이션 조율부(807)는 문자정보의 소리값을 구성하는 개별 음가에 대한 수정 또는 삭제와 같은 재설정 정보 또는 음가의 발성길이에 대한 재설정 정보를 수신하면, 도 1을 참조하여 설명한 애니메이션 조율부(112)와 동일하게 이 재설정된 정보를 음가구성정보 생성부(103)에 전달하고, 인접 음가 사이에 배정된 전이구간에 대한 재설정 정보를 수신하면 이 재설정 정보를 전이구간 배정부(105)에 전달한다. 이에 따라, 음가구성정보 생성부(103) 또는 전이구간 배정부(105)가 재설정된 정보를 토대로 음가구성정보를 재생성하거나 인접 음가 사이의 전이구간을 재배정한다. 또는, 세부음가의 수정, 세부음가의 발성길이 조정, 전이구간의 조정 등의 재설정 정보를 사용자로부터 수신하면, 도 1을 참조하여 설명한 애니메이션 조율부(112)와 동일하게 상기 재설정 정보를 음가문맥 적용부(107)로 전달하고, 음가문맥 적용부(107)는 상기 재설정 정보를 토대로, 음가구성정보를 다시 한번 재구성한다.
또한, 애니메이션 조율부(807)는 조음기관별 발음형태정보 중에서 하나 이상에 대한 변경 정보를 사용자로부터 수신하면, 상기 변경된 발음형태정보를 발음형태 검출부(804)로 전달하고, 발음형태 검출부(804)는 해당 발음형태정보를 상기 전달받은 발음형태정보로 변경한다.
한편, 애니메이션 조율부(807)는 조음구성정보에 포함된 조음부호, 조음부호별 발성길이, 인접된 조음부호 사이에 배정된 전이구간에 대한 재설정정보를 수신하면, 이 재설정 정보를 조음구성정보 생성부(802)로 전달하고, 조음구성정보 생성부(802)는 상기 재설정된 정보를 토대로 조음기관별 조음구성정보를 재생성한다. 게다가, 발음형태 검출부(804)는 상기 재생성된 조음구성정보를 토대로 각 조음부호와 조음부호 사이에 할당된 각 전이구간에 대한 발음형태정보를 조음기관별로 구분하여 다시 추출하고, 애니메이션 생성부(805)는 상기 재추출된 발음형태정보에 근거하여 발음기관 애니메이션을 재생성한다.
도 11은 본 발명의 다른 실시예에 따른, 발음기관 애니메이션 생성 장치에서 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 방법을 설명하는 순서도이다.
이하, 도 11을 참조한 설명에 있어서, 도 7과 중복되는 부분은 요약하고 차이점을 중심으로 설명한다.
도 11을 참조하면, 입력부(101)는 문자정보를 사용자로부터 입력받는다(S1101). 그러면, 음가구성정보 생성부(103)는 상기 문자정보에 배열된 각 단어를 확인하고, 단어별 음가정보와 상기 음가정보에 포함된 음가별 발성길이를 음가정보 저장부(102)에서 추출한다. 다음으로, 음가구성정보 생성부(103)는 상기 추출된 음가정보와 음가별 발성길이를 토대로 상기 문자정보에 대응하는 음가구성정보를 생성한다(S1103). 다음으로, 전이구간 배정부(105)는 전이구간정보 저장부(104)의 인접음가별 전이구간 정보를 토대로 상기 음가구성정보의 인접된 음가 사이에 전이구간을 배정한다(S1105).
이어서, 음가문맥 적용부(107)는 전이구간이 배정된 음가구성정보에서 각 음가와 인접되는 음가를 확인하고, 이를 토대로 각 음가와 대응하는 세부음가를 음가문맥정보 저장부(106)에서 추출하여 상기 음가구성정보의 음가 리스트와 대응되는 세부음가 리스트를 생성한다(S1107). 이어서, 음가문맥 적용부(107)는 상기 음가구성정보에 상기 생성한 세부음가 리스트를 포함시킴으로써, 전이구간이 배정된 음가구성정보를 재구성한다(S1109).
다음으로, 조음구성정보 생성부(802)는 상기 음가구성정보에 포함된 각 세부음가와 대응되는 조음부호를 조음부호정보 저장부(801)에서 조음기관별로 구분하여 추출한다(S1111). 이어서, 조음구성정보 생성부(802)는 상기 음가구성정보에 포함된 세부음가별 발성길이를 확인하고, 상기 세부음가별 발성길이에 대응되도록 각 조음부호의 발성길이를 배정한다. 다음으로, 조음구성정보 생성부(802)는 각 조음부호와 조음부호별 발성길이를 조합하여 조음기관별 조음구성정보를 생성하되, 상기 음가구성정보에 포함된 전이구간과 대응하여 상기 조음구성정보에서 전이구간을 할당한다(S1113). 이때, 조음구성정보 생성부(802)는 각 조음부호의 발성관여 정도를 확인하여, 각 조음부호의 발성길이 또는 전이구간의 발성길이를 재설정할 수 있다.
다음으로, 발음형태 검출부(804)는 조음구성정보에 포함된 조음부호와 전이구간에 대응하는 발음형태정보를 발음형태정보 저장부(803)에서 조음기관별로 구분하여 검출한다(S1115). 이때, 발음형태 검출부(804)는 조음구성정보 생성부(802)에서 생성한 조음구성정보에서 인접된 조음부호를 참조하여, 각각의 전이구간에 대한 발음형태정보를 발음형태정보 저장부(803)에서 조음기관별로 구분하여 검출한다. 발음형태정보의 검출이 완료되면, 발음형태 검출부(804)는 상기 검출된 조음기관별 발음형태정보와 조음구성정보를 애니메이션 생성부(805)로 전달한다.
그러면, 애니메이션 생성부(805)는 각 조음부호에 대응하는 발음형태정보를 해당 조음부호의 발성길이 시작시점과 종료시점에 대응되도록 키프레임으로서 각각 배정하고, 더불어 각 전이구간과 대응하는 발음형태정보를 해당 전이구간의 특정 시점에 키프레임으로 배정한다. 즉, 애니메이션 생성부(805)는 각 조음부호의 발음형태정보가 해당 발성길이만큼 재생되도록 발음형태정보를 조음부호의 발성시작시점과 발성종료시점에 대응되도록 키프레임으로서 각각 배정하고, 전이구간의 발음형태정보를 해당 전이구간 내의 특정 시점에만 표출되도록 키프레임으로 배정한다. 이어서, 애니메이션 생성부(805)는 애니메이션 보간기법을 통해 키프레임(즉, 발음형태정보) 사이의 비어있는 일반프레임을 생성함으로써 조음기관별로 애니메이션을 생성하고, 이 조음기관별 애니메이션을 하나의 발음기관 애니메이션으로 합성한다. 이때, 애니메이션 생성부(805)는 조음부호 사이에 배정된 특정 전이구간에 대한 발음형태정보가 2개 이상인 경우, 각각의 발음형태정보가 일정 시간간격으로 이격되도록 각각의 발음형태정보를 상기 전이구간에 배정하고, 상기 전이구간에 배정된 해당 키프레임과 인접된 키프레임 사이를 보간하여 해당 전이구간 내에 비어 있는 일반프레임을 생성한다. 한편, 애니메이션 생성부(805)는 조음부호 사이에 배정된 어느 한 전이구간에 대한 발음형태정보가 상기 발음형태 검출부(804)에 의해 검출되지 않은 경우, 해당 전이구간의 발음형태정보를 배정하지 않고, 상기 전이구간과 인접하고 있는 두 조음부호의 발음형태정보 사이를 보간하여 상기 전이구간에 배정되는 일반프레임을 생성한다.
다음으로, 애니메이션 생성부(805)는 조음기관별로 생성된 복수의 애니메이션을 하나로 합성함으로써, 상기 입력부(101)에서 상기 음가구성정보와 대응되는 발음기관 애니메이션을 생성한다(S1117). 다음으로, 표출부(806)는 음가구성정보에 포함된 세부음가와 전이구간, 조음기관별 조음구성정보에 포함된 조음부호, 조음부호의 발성길이와 조음부호 사이에 배정된 전이구간 및 발음기관 애니메이션을 액정표시수단 등의 디스플레이수단에 출력한다(S1119).
한편, 발음기관 애니메이션 생성 장치는 표출부(806)에 표출된 발음기관 애니메이션에 대한 재설정 정보를 사용자로부터 입력받을 수 있다. 즉, 애니메이션 조율부(807)는 입력된 문자정보의 소리값을 나타내는 음가 리스트, 음가별 발성길이, 음가 사이에 배정된 전이구간, 음가구성정보에 포함된 세부음가, 세부음가별 발성길이, 세부음가 사이에 배정된 전이구간, 조음구성정보에 포함된 조음부호, 조음부호별 발성길이, 조음부호 사이에 배정된 전이구간, 발음형태정보 중에서 하나 이상에 대한 재설정 정보를 입력부(101)를 통해 사용자로부터 입력받는다. 이 경우, 애니메이션 조율부(807)는 사용자에 의해 입력된 재설정 정보를 확인하고, 이 재설정 정보를 음가구성정보 생성부(103), 전이구간 배정부(105), 음가문맥 적용부(107), 조음구성정보 생성부(802), 발음형태 검출부(806)로 선택적으로 전달한다.
이에 따라, 음가구성정보 생성부(103)가 재설정 정보를 토대로 음가구성정보를 재생성하거나 전이구간 배정부(105)가 인접된 음가 사이의 전이구간을 재배정한다. 또는, 음가문맥 적용부(107)가 상기 재설정 정보를 토대로 음가구성정보를 다시 한번 재구성하거나, 발음형태 검출부(804)가 S1115 단계에서 추출한 발음형태정보를 재설정된 발음형태정보로 변경한다. 한편, 애니메이션 조율부(807)는 조음구성정보에 포함된 조음부호, 조음부호별 발성길이, 인접된 조음부호 사이에 배정된 전이구간에 대한 재설정정보를 수신하면, 이 재설정 정보를 조음구성정보 생성부(802)로 전달하고, 조음구성정보 생성부(802)는 상기 재설정된 정보를 토대로 조음기관별 조음구성정보를 재생성한다.
즉, 본 발명의 다른 실시예에 따른 발음기관 애니메이션 생성 장치는 애니메이션 조율부(807)를 통하여 재설정 정보가 사용자로부터 수신되면, 이 재설정 정보에 따라 S1103 단계 내지 S1119 단계 전부를 다시 실행하거나, S1103 단계에서부터 S1119 단계 중에서 일부를 선택적으로 다시 실행한다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
101 : 입력부 102 : 음가정보 저장부
103 : 음가구성정보 생성부 104 : 전이구간정보 저장부
105 : 전이구간 배정부 106 : 음가문맥정보 저장부
107 : 음가문맥 적용부 108, 803 : 발음형태정보 저장부
109, 804 : 발음형태 검출부 110, 805 : 애니메이션 생성부
111, 806 : 표출부 112, 807 : 애니메이션 조율부
801, 806 : 조음부호정보 저장부 802 : 조음구성정보 생성부

Claims (18)

  1. 발음기관 애니메이션 생성 장치에서, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 방법으로서,
    상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정 단계;
    상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하는 세부음가 추출 단계;
    상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 재구성 단계;
    상기 재구성된 음가구성정보에 포함된 각 세부음가와 각 전이구간에 대응되는 발음형태정보를 검출하는 발음형태정보 검출 단계; 및
    상기 각 세부음가의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보 사이를 보간하여 상기 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성 단계;를 포함하는 발음기관 애니메이션 생성 방법.
  2. 제 1 항에 있어서,
    상기 애니메이션 생성 단계는,
    상기 각 세부음가별로 검출된 발음형태정보를 해당 세부음가의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 발음기관 애니메이션을 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  3. 제 2 항에 있어서,
    상기 애니메이션 생성 단계는,
    상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 세부음가의 발음형태정보에서 시작하여 다음 세부음가의 발음형태정보까지 존재하는 발음형태정보들 사이를 보간하여 발음기관 애니메이션을 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  4. 제 1 항에 있어서,
    상기 음가, 세부음가, 발성길이, 전이구간 또는 발음형태정보 중 하나 이상에 대한 재설정 정보를 사용자로부터 입력받는 단계; 및
    상기 입력받은 재설정 정보를 토대로 음가, 세부음가, 발성길이, 전이구간 또는 발음형태정보를 변경하는 단계;를 더 포함하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  5. 발음기관 애니메이션 생성 장치에서, 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 방법으로서,
    상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정 단계;
    상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하는 세부음가 추출 단계;
    상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 재구성 단계;
    상기 재구성된 음가구성정보에 포함된 각 세부음가와 대응되는 조음부호를 조음기관별로 구분하여 추출하는 조음부호 추출 단계;
    상기 추출한 조음부호, 조음부호별 발성길이 및 전이구간을 포함하는 조음구성정보를 상기 조음기관별로 생성하는 조음구성정보 생성 단계;
    상기 조음구성정보에 포함된 각 조음부호와 조음부호 사이에 배정된 각 전이구간에 대응하는 발음형태정보를 상기 조음기관별로 검출하는 발음형태정보 검출 단계; 및
    상기 각 조음부호의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하고, 생성된 애니메이션들을 하나로 합성하여 상기 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성 단계;를 포함하는 발음기관 애니메이션 생성 방법.
  6. 제 5 항에 있어서,
    상기 조음구성정보 생성 단계는,
    각각의 세부음가와 대응하여 추출된 조음부호가 해당 세부음가의 발성에 관여하는 정도를 확인하는 단계; 및
    상기 확인한 발성 관여 정도에 따라 각 조음부호의 발성길이 또는 조음부호 사이에 배정된 전이구간을 재설정하여 조음구성정보를 생성하는 단계;를 포함하는 것을 특징으로 발음기관 애니메이션 생성 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 애니메이션 생성 단계는,
    상기 각 조음부호별로 검출된 발음형태정보를 해당 조음부호의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  8. 제 7 항에 있어서,
    상기 애니메이션 생성 단계는,
    상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 조음부호의 발음형태정보에서 시작하여 다음 조음부호의 발음형태정보까지 존재하는 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  9. 제 5 항 또는 제 6 항에 있어서,
    음가, 세부음가, 조음부호, 세부음가별 발성길이, 조음부호별 발성길이, 전이구간 또는 발음형태정보 중 하나 이상에 대한 재설정 정보를 사용자로부터 입력받는 단계; 및
    상기 입력받은 재설정 정보를 토대로, 음가, 세부음가, 조음부호, 세부음가별 발성길이, 조음부호별 발성길이, 전이구간 또는 발음형태정보를 변경하는 단계;를 더 포함하는 것을 특징으로 하는 발음기관 애니메이션 생성 방법.
  10. 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 장치로서,
    상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정수단;
    상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하고, 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 음가문맥 적용수단;
    상기 재구성된 음가구성정보에 포함된 각 세부음가와 각 전이구간에 대응되는 발음형태정보를 검출하는 발음형태 검출수단; 및
    상기 각 세부음가의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후, 배정된 발음형태정보 사이를 보간하여 상기 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성수단;을 포함하는 발음기관 애니메이션 생성 장치.
  11. 제 10 항에 있어서,
    상기 애니메이션 생성수단은,
    상기 각 세부음가별로 검출된 발음형태정보를 해당 세부음가의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 발음기관 애니메이션을 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
  12. 제 11 항에 있어서,
    상기 애니메이션 생성수단은,
    상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 세부음가의 발음형태정보에서 시작하여 다음 세부음가의 발음형태정보까지 존재하는 발음형태정보들 사이를 보간하여 발음기관 애니메이션을 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
  13. 제 10 항에 있어서,
    상기 발음기관 애니메이션을 재생성하기 위한 인터페이스를 제공하고, 상기 인터페이스를 통하여 음가, 세부음가, 발성길이, 전이구간 또는 발음형태정보 중 하나 이상에 대한 재설정 정보를 사용자로부터 입력받는 애니메이션 조율수단;을 더 포함하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
  14. 발성길이가 할당된 음가 리스트에 대한 정보인 음가구성정보에 대응하는 발음기관 애니메이션을 생성하는 장치로서,
    상기 음가구성정보에 포함된 인접한 두 음가별로 발성길이 일부를 두 음가간의 전이구간으로 배정하는 전이구간 배정수단;
    상기 음가구성정보에 포함된 각 음가별로 인접된 음가를 확인한 후 인접된 음가를 토대로 각 음가에 대응되는 세부음가를 추출하여 상기 음가 리스트에 대응되는 세부음가 리스트를 생성하고, 상기 생성된 세부음가 리스트를 상기 음가구성정보에 포함시켜 상기 음가구성정보를 재구성하는 음가문맥 적용수단;
    상기 재구성된 음가구성정보에 포함된 각 세부음가에 대응되는 조음부호를 조음기관별로 구분하여 추출한 후, 하나 이상의 조음부호, 조음부호별 발성길이 및 전이구간을 포함하는 조음구성정보를 상기 조음기관별로 생성하는 조음구성정보 생성수단;
    상기 조음구성정보에 포함된 각 조음부호와 조음부호 사이에 배정된 각 전이구간에 대응하는 발음형태정보를 상기 조음기관별로 검출하는 발음형태 검출수단; 및
    상기 각 조음부호의 발성길이와 전이구간에 근거하여 상기 검출된 발음형태정보를 배정한 후 배정된 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하고, 각 애니메이션을 하나로 합성하여 상기 음가구성정보와 대응하는 발음기관 애니메이션을 생성하는 애니메이션 생성수단;을 포함하는 발음기관 애니메이션 생성 장치.
  15. 제 14 항에 있어서,
    상기 조음구성정보 생성수단은,
    조음기관별로 각각의 세부음가와 대응하여 추출된 조음부호가 해당 세부음가의 발성에 관여하는 정도를 확인하고, 상기 확인한 발성 관여 정도에 따라 각 조음부호의 발성길이 또는 조음부호 사이에 배정된 전이구간을 재설정하여 조음구성정보를 생성하는 것을 특징으로 발음기관 애니메이션 생성 장치.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 애니메이션 생성수단은,
    상기 각 조음부호별로 검출된 발음형태정보를 해당 조음부호의 발성길이에 대응하는 시작시점과 종료시점에 배정하고 상기 시작시점과 종료시점에 배정된 발음형태정보 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
  17. 제 16 항에 있어서,
    상기 애니메이션 생성수단은,
    상기 각 전이구간 별로 검출된 0 또는 1개 이상의 발음형태정보를 해당 전이구간에 배정하고 이 전이구간 직전 조음부호의 발음형태정보에서 시작하여 다음 조음부호의 발음형태정보까지 존재하는 발음형태정보들 사이를 보간하여 조음구성정보에 대응하는 애니메이션을 조음기관별로 생성하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
  18. 제 14 항 또는 제 15 항에 있어서,
    상기 발음기관 애니메이션을 재생성하기 위한 인터페이스를 제공하고, 상기 인터페이스를 통하여 음가, 세부음가, 조음부호, 세부음가별 발성길이, 조음부호별 발성길이, 전이구간 또는 발음형태정보 중 하나 이상에 대한 재설정 정보를 사용자로부터 입력받는 애니메이션 조율수단;을 더 포함하는 것을 특징으로 하는 발음기관 애니메이션 생성 장치.
KR1020100051369A 2010-05-31 2010-05-31 발음기관 애니메이션 생성 장치 및 방법 KR101153736B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/695,572 US20130065205A1 (en) 2010-05-31 2010-05-31 Apparatus and method for generating vocal organ animation
PCT/KR2010/003484 WO2011152575A1 (ko) 2010-05-31 2010-05-31 발음기관 애니메이션 생성 장치 및 방법
KR1020100051369A KR101153736B1 (ko) 2010-05-31 2010-05-31 발음기관 애니메이션 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100051369A KR101153736B1 (ko) 2010-05-31 2010-05-31 발음기관 애니메이션 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110131768A true KR20110131768A (ko) 2011-12-07
KR101153736B1 KR101153736B1 (ko) 2012-06-05

Family

ID=45066921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051369A KR101153736B1 (ko) 2010-05-31 2010-05-31 발음기관 애니메이션 생성 장치 및 방법

Country Status (3)

Country Link
US (1) US20130065205A1 (ko)
KR (1) KR101153736B1 (ko)
WO (1) WO2011152575A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967362A (zh) * 2021-03-19 2021-06-15 北京有竹居网络技术有限公司 动画生成方法和装置、存储介质和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140127653A1 (en) * 2011-07-11 2014-05-08 Moshe Link Language-learning system
US20130271473A1 (en) * 2012-04-12 2013-10-17 Motorola Mobility, Inc. Creation of Properties for Spans within a Timeline for an Animation
US20140272820A1 (en) * 2013-03-15 2014-09-18 Media Mouth Inc. Language learning environment
CN103218841B (zh) * 2013-04-26 2016-01-27 中国科学技术大学 结合生理模型和数据驱动模型的三维发音器官动画方法
WO2019219968A1 (en) * 2018-05-18 2019-11-21 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
US10923105B2 (en) * 2018-10-14 2021-02-16 Microsoft Technology Licensing, Llc Conversion of text-to-speech pronunciation outputs to hyperarticulated vowels
WO2020152657A1 (en) * 2019-01-25 2020-07-30 Soul Machines Limited Real-time generation of speech animation
KR102096965B1 (ko) * 2019-09-10 2020-04-03 방일성 양동이 돌리기 원리를 응용한 영어 학습 방법 및 장치
KR102546532B1 (ko) * 2021-06-30 2023-06-22 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0692135B1 (en) * 1993-03-12 2000-08-16 Sri International Method and apparatus for voice-interactive language instruction
US6233557B1 (en) * 1999-02-23 2001-05-15 Motorola, Inc. Method of selectively assigning a penalty to a probability associated with a voice recognition system
JP2000242293A (ja) * 1999-02-23 2000-09-08 Motorola Inc 音声認識装置のための方法
US6766299B1 (en) * 1999-12-20 2004-07-20 Thrillionaire Productions, Inc. Speech-controlled animation system
JP4370811B2 (ja) 2003-05-21 2009-11-25 カシオ計算機株式会社 音声表示出力制御装置、および音声表示出力制御処理プログラム
JP2006126498A (ja) 2004-10-28 2006-05-18 Tokyo Univ Of Science 英語の発音の学習を支援するためのプログラム、英語発音学習支援方法、英語発音学習支援装置、英語発音学習支援システム、及びプログラムを記録した記録媒体
JP4543263B2 (ja) 2006-08-28 2010-09-15 株式会社国際電気通信基礎技術研究所 アニメーションデータ作成装置及びアニメーションデータ作成プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967362A (zh) * 2021-03-19 2021-06-15 北京有竹居网络技术有限公司 动画生成方法和装置、存储介质和电子设备

Also Published As

Publication number Publication date
US20130065205A1 (en) 2013-03-14
KR101153736B1 (ko) 2012-06-05
WO2011152575A1 (ko) 2011-12-08

Similar Documents

Publication Publication Date Title
KR101153736B1 (ko) 발음기관 애니메이션 생성 장치 및 방법
EP0831460B1 (en) Speech synthesis method utilizing auxiliary information
US7979274B2 (en) Method and system for preventing speech comprehension by interactive voice response systems
US11763797B2 (en) Text-to-speech (TTS) processing
Adell et al. Production of filled pauses in concatenative speech synthesis based on the underlying fluent sentence
JP5148026B1 (ja) 音声合成装置および音声合成方法
JP2006337667A (ja) 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。
KR100710600B1 (ko) 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치
JP2005215888A (ja) テキスト文の表示装置
JPH08335096A (ja) テキスト音声合成装置
KR101246287B1 (ko) 음가의 강세를 이용한 발음기관 애니메이션 생성 장치 및 방법
JP4409279B2 (ja) 音声合成装置及び音声合成プログラム
EP0982684A1 (en) Moving picture generating device and image control network learning device
JP6538944B2 (ja) 発話リズム変換装置、方法及びプログラム
JP5175422B2 (ja) 音声合成における時間幅を制御する方法
CN113628609A (zh) 自动音频内容生成
Tang et al. EAVA: a 3D emotive audio-visual avatar
JP5054632B2 (ja) 音声合成装置及び音声合成プログラム
KR101015261B1 (ko) 발음정보 표출장치 및 방법
US20230245644A1 (en) End-to-end modular speech synthesis systems and methods
JPH11161297A (ja) 音声合成方法及び装置
Hande A review on speech synthesis an artificial voice production
JP3830200B2 (ja) 人物画像合成装置
Hande A review of concatenative text to speech synthesis
JP2016122033A (ja) 記号列生成装置、音声合成装置、音声合成システム、記号列生成方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160523

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170612

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180524

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 8