JP6727477B1 - ピッチパターン補正装置、プログラム及びピッチパターン補正方法 - Google Patents

ピッチパターン補正装置、プログラム及びピッチパターン補正方法 Download PDF

Info

Publication number
JP6727477B1
JP6727477B1 JP2020516498A JP2020516498A JP6727477B1 JP 6727477 B1 JP6727477 B1 JP 6727477B1 JP 2020516498 A JP2020516498 A JP 2020516498A JP 2020516498 A JP2020516498 A JP 2020516498A JP 6727477 B1 JP6727477 B1 JP 6727477B1
Authority
JP
Japan
Prior art keywords
pitch
section
pitch pattern
correction
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516498A
Other languages
English (en)
Other versions
JPWO2021090381A1 (ja
Inventor
啓吾 川島
啓吾 川島
村山 修
修 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6727477B1 publication Critical patent/JP6727477B1/ja
Publication of JPWO2021090381A1 publication Critical patent/JPWO2021090381A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

音声のピッチパターンにおいて、音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部(103)と、ピッチパターンにおいて、音声の文末の音韻に対応する区間である文末ピッチ区間を特定する文末ピッチ区間特定部(104)と、特定された最大値及び特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチパターンを補正することで、音声の発話様式を変更するピッチパターン補正部(309)と、を備え、ピッチパターン補正部(309)は、音声の韻律に応じて、ピッチパターンを補正する補正量を変更することを特徴とする。

Description

本発明は、ピッチパターン補正装置、プログラム及びピッチパターン補正方法に関する。
従来、平叙音声のピッチパターンを補正し、例えば、質問調、念押し又は個人性を含むイントネーション等の別の発話様式の音声を生成する技術が多く開発されている。
特許文献1には、ピッチパターンの文末から最大値を抽出し、最大値と終端音韻のピッチとの間の値に相当する基準ピッチを算出し、基準ピッチより小さい値と基準ピッチより大きい値を算出し文末のピッチとすることで、韻律を補正する韻律補正方法が開示されている。
特開2008−15362号公報
従来の韻律補正方法は、最大値より小さいピッチが必ず文末に発生する構成となっており、平板型のアクセント句が文末である場合に、質問調等のピッチが上昇を継続する発話様式を生成する上で、不自然なピッチパターンになるという課題がある。
そこで、本発明は、自然で発話様式を容易に知覚することができるように、ピッチパターンを補正することを目的とする。
本発明の第1の態様に係るピッチパターン補正装置は、音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部と、前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定する文末ピッチ区間特定部と、前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部と、を備え、前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更することを特徴とする。
本発明の第2の態様に係るピッチパターン補正装置は、音声のピッチパターンにおいて、特定の区間を補正する部分ピッチ補正部と、前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部と、前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部と、を備え、前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更することを特徴とする。
本発明の第1の態様に係るプログラムは、コンピュータを、音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部、前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定する文末ピッチ区間特定部、並びに、前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部、として機能させ、前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更することを特徴とする。
本発明の第2の態様に係るプログラムは、コンピュータを、音声のピッチパターンにおいて、特定の区間を補正する部分ピッチ補正部、前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部、並びに、前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部、として機能させ、前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更することを特徴とする。
本発明の第1の態様に係るピッチパターン補正方法は、音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定し、前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定し、並びに、前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正方法であって、前記ピッチパターンを補正する際に、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更することを特徴とする。
本発明の第2の態様に係るピッチパターン補正方法は、音声のピッチパターンにおいて、特定の区間を補正し、前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定し、並びに、前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正方法であって、前記補正された特定の区間を含むピッチパターンを補正する際に、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更することを特徴とする。
本発明の一又は複数の態様によれば、自然で発話様式を容易に知覚することができるように、ピッチパターンを補正することができる。
実施の形態1に係るピッチパターン補正装置の構成を概略的に示すブロック図である。 ピッチパターン補正装置のハードウェア構成例を示すブロック図である。 実施の形態1に係るピッチパターン補正装置の動作を示すフローチャートである。 実施の形態1におけるピッチパターン補正部の第1の動作例を示す概略図である。 実施の形態1におけるピッチパターン補正部の第2の動作例を示す概略図である。 実施の形態1におけるピッチパターン補正方法情報の一例を示す概略図である。 実施の形態2に係るピッチパターン補正装置の構成を概略的に示すブロック図である。 実施の形態2に係るピッチパターン補正装置の動作を示すフローチャートである。 最大ピッチ区間補正部の動作例を示す概略図である。 最大ピッチ区間補正方法情報の一例を示す概略図である。 文末ピッチ区間補正部の動作例を示す概略図である。 文末ピッチ区間補正方法情報の一例を示す概略図である。 実施の形態2におけるピッチパターン補正部の動作例を示す概略図である。 実施の形態2におけるピッチパターン補正方法情報の一例を示す概略図である。 実施の形態3に係るピッチパターン補正装置の構成を概略的に示すブロック図である。 実施の形態3におけるピッチパターン補正装置の動作を示すフローチャートである。 実施の形態3におけるピッチパターン補正部の動作例を示す概略図である。 実施の形態4に係るピッチパターン補正装置の構成を概略的に示すブロック図である。 実施の形態4に係るピッチパターン補正装置の動作を示すフローチャートである。 実施の形態4におけるピッチパターン補正部の動作例を示す概略図である。
実施の形態1.
図1は、実施の形態1に係るピッチパターン補正装置100の構成を概略的に示すブロック図である。
ピッチパターン補正装置100は、音声情報入力部101と、ピッチパターン取得部102と、最大ピッチ特定部103と、文末ピッチ区間特定部104と、言語情報入力部105と、言語属性情報取得部106と、ピッチ補正係数入力部107と、ピッチパターン補正方法記憶部108と、ピッチパターン補正部109とを備える。
音声情報入力部101は、音声のピッチパターンを少なくとも特定することのできる音声情報の入力を受け付ける。音声情報入力部101は、入力された音声情報をピッチパターン取得部102に与える。
音声情報は、ピッチパターンを特定することができればよい。例えば、音声情報は、人が発話した音声を示す音声データであってもよく、音声合成装置における韻律制御のための中間データであってもよく、ピッチパターンそのものであってもよい。
ピッチパターン取得部102は、音声情報入力部101から与えられる音声情報で特定されるピッチパターンを取得する。ピッチパターン取得部102は、取得されたピッチパターンを最大ピッチ特定部103、文末ピッチ区間特定部104及びピッチパターン補正部109に与える。
ピッチは、音の高さを示し、ピッチパターンは、音の高さの変化を示すパターンである。ピッチパターンは、例えば、一定時間毎にサンプリングされたピッチ、時間情報とピッチとを組み合わせた系列、音声合成における音声素片単位(音節、子音−母音又は母音−子音等)における制御点のピッチを示すものであればよい。
最大ピッチ特定部103は、ピッチパターン取得部102から与えられるピッチパターンにおいて、音声の文末フレーズに含まれているピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する。そして、最大ピッチ特定部103は、その最大ピッチ情報をピッチパターン補正部109に与える。
文末フレーズが、アクセントフレーズである場合には、最大ピッチ特定部103は、以下のようにして、文末フレーズを特定することができる。
標準語において、1つのフレーズ内では、一度下がり始めたピッチが再度上昇することはないため、最大ピッチ特定部103は、ピッチパターンの遷移の山谷の位置でフレーズの区切りを推測することで、文末フレーズを特定することができる。また、例えば、単純な単語のように、末尾の発声が1フレーズのみであると保証される場合には、最大ピッチ特定部103は、一定時間以上ピッチが無い区間(ポーズ区間)以降を文末フレーズとみなすことができる。さらに、ピッチパターンが言語情報と紐付けられている場合には、言語情報からフレーズの区切りが分かるため、最大ピッチ特定部103は、言語情報を参照することで、文末フレーズを特定することができる。
また、文末フレーズが、呼吸に伴うポーズと文末の間の呼気フレーズである場合、最大ピッチ特定部103は、一定時間以上ピッチがない区間(例えば、ポーズ区間)以降を文末フレーズとみなすことができる。
最大ピッチ情報は、文末フレーズ内のピッチの最大値を示すものであればよい。例えば、最大ピッチ情報は、周波数情報そのものであってもよく、離散化又はシンボル化された情報であってもよい。また、最大ピッチ情報は、最大値の1サンプルだけではなく最大値を含む音韻のピッチパターン等の複数サンプルの値でもよく、複数サンプルの平均値等の統計値であってもよい。
文末ピッチ区間特定部104は、ピッチパターン取得部102から与えられるピッチパターンにおいて、音声の文末の音韻に対応する区間である文末ピッチ区間を特定し、特定された文末ピッチ区間を示す文末ピッチ情報を生成する。
文末ピッチ情報は、発話様式の特徴が出現する区間を特定できる情報であればよい。
言語情報入力部105は、ピッチパターンに関する言語属性情報を少なくとも特定することのできる言語情報の入力を受け付ける。言語情報入力部105は、入力された言語情報を言語属性情報取得部106に与える。
言語情報は、言語属性情報を特定することができる情報であればよい。例えば、言語情報は、言語属性情報そのものであってもよく、日本語であれば漢字仮名混じり文、又は、英語であればアルファベット列等の表記から言語解析により抽出された情報であってもよい。
言語属性情報取得部106は、言語情報入力部105から与えられた言語情報で特定される言語属性情報を取得する。言語属性情報取得部106は、取得された言語属性情報をピッチパターン補正部109に与える。
言語属性情報は、ピッチパターンの補正時に制御を切り替えるために使用される言語の属性である言語属性を示す情報を含んでいればよい。例えば、言語属性情報は、アクセント位置、有声又は無声情報、破裂音、破擦音、摩擦音又は子音なし等末尾音韻の子音の種類であってもよく、音韻記号列を示す音韻情報そのものであってもよい。
ピッチ補正係数入力部107は、ピッチパターンを補正して、別の発話様式の音声にするためのピッチ補正係数の入力を受け付ける。ピッチ補正係数は、ピッチを補正する補正量であるピッチ補正量の重みに相当する情報であり、1つ以上の数値情報であればよい。ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチパターン補正部109に与える。
ピッチパターン補正方法記憶部108は、ピッチパターンの補正方法であるピッチパターン補正方法を示すピッチパターン補正方法情報を記憶する。ピッチパターン補正方法情報は、言語属性毎に、ピッチパターン補正方法を示しているものとする。言い換えると、ピッチパターン補正方法情報は、複数の言語属性と、複数の言語属性の各々に各々が対応付けられている複数のピッチパターン補正方法とを示す。なお、ピッチパターン補正方法情報は、変更する発話様式毎に、複数の言語属性と、複数の言語属性の各々に各々が対応付けられている複数のピッチパターン補正方法とを示しているものとする。
ピッチパターン補正方法は、例えば、補正式そのものであってもよく、プログラム内の条件分岐を示したものであってもよい。
ピッチパターン補正部109は、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値、及び、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチパターン取得部102から与えられるピッチパターンを補正することで、音声の発話様式を変更する。ここで、ピッチパターン補正部は、言語属性情報取得部106から与えられた言語属性情報で示される言語属性に応じて、ピッチパターン補正方法を切り替える。
なお、ピッチパターン補正部109は、変更する発話様式に応じて、ピッチパターンの予め定められた区間である補正対象区間を補正する。ここでは、補正対象区間は、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間とするが、実施の形態1は、このような例に限定されない。
ピッチパターン補正部109は、例えば、言語属性情報取得部106から与えられた言語属性情報で示される言語属性に対応するピッチパターン補正方法を、ピッチパターン補正方法記憶部108に記憶されているピッチパターン補正方法情報から選択する。
そして、ピッチパターン補正部109は、選択されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数入力部107から与えられるピッチ補正係数を必要に応じて使用し、ピッチパターン取得部102から与えられるピッチパターンにおいて、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間を補正する。
なお、補正されたピッチパターンは、補正ピッチパターンとして出力される。
図2は、実施の形態1に係るピッチパターン補正装置100のハードウェア構成例を示すブロック図である。
図2に示されているように、ピッチパターン補正装置100は、メモリ131と、プロセッサ132と、ネットワークインタフェース(以下、ネットワークI/Fという)133と、テキスト入力インタフェース(以下、テキスト入力I/Fという)134と、画像入力インタフェース(以下、画像入力I/Fという)135と、音響入力インタフェース(以下、音響入力I/Fという)136とを備えるコンピュータ130により実現することができる。
例えば、メモリ131は、プロセッサ132を、ピッチパターン取得部102、最大ピッチ特定部103、文末ピッチ区間特定部104、言語属性情報取得部106及びピッチパターン補正部109として機能させるプログラムを記憶する。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
また、メモリ131は、ピッチパターン補正方法情報を記憶するピッチパターン補正方法記憶部108として機能する。
さらに、メモリ131は、ピッチパターン、音声情報、言語属性情報、言語情報、最大ピッチ情報、文末ピッチ区間情報、ピッチ補正係数及び補正ピッチパターンといった中間データを記憶する。
なお、メモリ131、不揮発性のメモリ又は揮発性のメモリであればよい。
プロセッサ132は、メモリ131から必要なプログラムを読み出して、そのプログラムを実行するCPU(Central Processing Unit)又はDSP(Digital Signal Processor)等の回路である。
ネットワークI/F133は、音声情報、言語情報又はピッチ補正係数をネットワーク上のデータから参照する場合又はストリームデータを入力する場合、通信するためのインタフェースであり、音声情報入力部101、言語情報入力部105又はピッチ補正係数入力部107として機能することができる。ネットワークI/F133は、通信を必要としない構成となっていれば、不要である。
テキスト入力I/F134は、音声情報、言語情報又はピッチ補正係数の入力手段としてPC又はネットワーク上のデータをテキスト列で指定する際に、キーボード又はマウス等によって入力する場合のインタフェースであり、音声情報入力部101、言語情報入力部105又はピッチ補正係数入力部107として機能することができる。テキスト入力I/F134は、キーボード又はマウス等による入力を必要としない構成となっていれば、不要である。
画像入力I/F135は、音声情報、言語情報又はピッチ補正係数の入力手段として、PC(Personal Computer)又はネットワーク上のデータをGUI(Guraphical User Interface)で指定する場合の表示用のインタフェースであり、音声情報入力部101、言語情報入力部105又はピッチ補正係数入力部107として機能することができる。画像入力I/F135は、表示器での表示を必要としない構成となっていれば、不要である。
音響入力I/F136は、マイク等の音響を入力するインタフェースである。音響入力I/F136は、音声情報入力部として機能することができる。音響入力I/F136は、ピッチパターン補正装置100がマイクによる録音を必要としない構成となっていれば、不要である。
なお、図2において、メモリ131は、コンピュータ130の内部に配置されているが、実施の形態は、このような例に限定されない。例えば、USB(Universal Serial Bus)メモリ等の外部メモリであってもよく、ネットワークに接続された記憶装置であってもよい。また、メモリ131は、コンピュータ130の内部のメモリと、コンピュータ130の外部のメモリとの両方で構成されていてもよい。
図3は、ピッチパターン補正装置100の動作を示すフローチャートである。
まず、ピッチパターン取得部102は、音声情報入力部101から、少なくともピッチパターンを特定することのできる音声情報を受け取り、その音声情報で特定されるピッチパターンを取得する(S10)。取得されたピッチパターンは、最大ピッチ特定部103、文末ピッチ区間特定部104及びピッチパターン補正部109に与えられる。
ここで、音声情報入力部101は、マイク又はカメラ等の音響信号が取得可能なデバイスから音声情報の入力を受ければよい。また、ユーザが、キーボード又はマウス等のデバイスを使用して、メモリ又はネットワーク上のデータを選択することで、音声情報入力部101は、音声情報を読み込むようにしてもよい。さらに、音声情報入力部101は、通信を行うことで、他の装置から取得したストリームデータ、又は、音声合成の中間データを音声情報として入力を受けてもよい。
また、ピッチパターン取得部102が音声データからピッチパターンを抽出する場合には、例えば、ケプストラム法等の公知の手法を用いればよい。ケプストラム法等の公知の手法は、下記の文献に記載されている。
古井貞熙著、「音声情報処理」、第1版、森北出版株式会社、1998年6月30日、p.22〜26
次に、言語属性情報取得部106は、言語情報入力部105から、言語の必要な属性を特定することのできる言語情報を受け取り、その言語情報で特定される言語属性を示す言語属性情報を取得する(S11)。
言語情報が、言語属性情報そのものでない場合には、言語属性情報取得部106は、公知の自然言語処理技術によって、読み又はアクセント等の情報を解析し、言語属性を特定し、特定された言語属性を示す言語属性情報を生成すればよい。
この場合、例えば、下記の文献に、公知の自然言語処理技術が記載されている。
匂坂芳典著、「音声合成における自然言語処理」、情報処理、Vol.34,No.10、1993年
また、音声情報が音声データである場合には、言語属性情報取得部106は、言語情報入力部105又は音声情報入力部101から音声データを取得して、公知の音声認識技術等を用いて言語情報を抽出して、抽出された言語情報から言語属性情報を取得してもよい。
なお、公知の音声認識技術としては、下記の文献に記載されている技術がある。
古井貞熙著、「音声情報処理」、第1版、森北出版株式会社、1998年6月30日、p.96〜105
次に、最大ピッチ特定部103は、ピッチパターンから末尾フレーズ内のピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する(S12)。そして、生成された最大ピッチ情報は、ピッチパターン補正部109に与えられる。
例えば、最大ピッチ特定部103は、ピッチパターンの末尾フレームに含まれているピッチの値のうち、最大値を探索して、その値を示す最大ピッチ情報を生成すればよい。
この時、最大ピッチ特定部103は、言語属性情報取得部106から言語属性情報を受け取ることで、アクセント位置付近に絞って探索してもよい。
次に、文末ピッチ区間特定部104は、ピッチパターンから文末部分の区間を特定して、特定されたピッチパターンの区間を示す文末ピッチ区間情報を生成する(S13)。生成された文末ピッチ区間情報は、ピッチパターン補正部109に与えられる。
例えば、文末ピッチ区間特定部104は、ピッチパターンのうち、末尾音韻区間を特定すればよい。
具体的には、音声情報の中に、末尾音韻の区間情報がある場合、又は、言語属性情報取得部106で取得される言語属性情報から末尾音韻の区間を推定できる場合には、文末ピッチ区間特定部104は、その区間を特定すればよい。例えば、日本語において末尾音韻の子音が無声音である場合には、末尾から連続するピッチパターンは、末尾の母音のピッチパターンとすることができる。
なお、音声情報の中に、末尾音韻の区間情報がない場合には、文末ピッチ区間特定部104は、ピッチパターンにおいて、末尾から遡って、末尾のピッチに対するピッチの変化量が一定の閾値を超えるまでの区間、又は、末尾から遡って、ピッチが抽出できなくなるまでの区間を示す情報を文末ピッチ区間情報としてもよい。
次に、ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチパターン補正部109に与える(S14)。なお、実施の形態1では、ピッチ補正係数が入力されているが、実施の形態1はこのような例に限定されない。例えば、ピッチ補正係数が固定の値である場合には、ピッチパターン補正部109として機能するプログラムに、その値が含まれていてもよい。この場合には、ピッチ補正係数入力部107はなくてもよい。
次に、ピッチパターン補正部109は、ピッチパターンの補正を行う(S15)。具体的には、以下の通りである。
ピッチパターン補正部109は、ピッチパターン補正方法情報を参照して、言語属性情報で示される言語属性に対応するピッチパターン補正方法を選択する。
そして、ピッチパターン補正部109は、選択されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数入力部107から与えられるピッチ補正係数を必要に応じて使用し、ピッチパターン取得部102から与えられるピッチパターンの内、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間を補正する。なお、補正されたピッチパターンは、補正ピッチパターンとして出力される。
なお、図3に示されているフローチャートにおいて、ステップS11〜S13の処理は、並行して行うことができ、どのステップから行われてもよい。
また、S11で取得される言語属性情報を受け取ることで、最大ピッチ特定部103における抽出精度向上又は処理量の削減が可能な場合があり、その場合にはステップS11の処理の後に、ステップS12が行われればよい。この場合、言語属性情報取得部106から言語属性情報が、最大ピッチ特定部103に与えられる。
図4及び図5は、ピッチパターン補正部109の動作例を示す概略図である。
また、図6は、ピッチパターン補正方法記憶部108に記憶されているピッチパターン補正方法情報の一例を示す概略図である。ここでは、言語属性として、音声におけるアクセントの位置であるアクセント位置に応じて、ピッチパターン補正方法を選択する例を示す。
図6に示されているように、ピッチパターン補正方法情報108aは、制御対象列108bと、平板列108cと、非平板列108dとを備えるテーブル形式の情報である。
制御対象列108bは、補正を行う対象を示す。ここでは、制御対象の一例として、「始端」、「終端」及び「補間」が示されている。「始端」は、文末ピッチ区間の始端のピッチを示し、「終端」は、文末ピッチ区間の終端のピッチを示す。「補間」は、文末ピッチ区間における始端のピッチと終端のピッチとの間のピッチを示す。
平板列108cは、言語属性情報が「平板」を示す場合に選択されるピッチパターン補正方法を示す。
ここでは、「平板」のピッチパターン補正方法として、「−」、「最大ピッチ×ピッチ補正係数」及び「線形補間」が示されている。
「−」は、同じ行の制御対象に補正を行わないことを示している。
「最大ピッチ×ピッチ補正係数」は、最大ピッチ特定部103で特定されたピッチの最大値に、ピッチ補正係数入力部107から与えられるピッチ補正係数を乗算した値を、同じ行の制御対象に加算することを示している。
「線形補間」は、文末ピッチ区間の始端のピッチと、その終端のピッチとの間のピッチの値を、始端のピッチの値及び終端のピッチの値による線形補間で求めることを示している。補間を行う際の始端のピッチの値及び終端のピッチの値は、補正が行われる場合には、補正後の値である。
非平板列108dは、言語属性情報が「非平板」を示す場合に選択されるピッチパターン補正方法を示す。
ここでは、「非平板」のピッチパターン補正方法として、「終端ピッチ−始端ピッチ」、「(最大ピッチ−終端ピッチ)×ピッチ補正係数」及び「スプライン補間」が示されている。
「終端ピッチ−始端ピッチ」は、文末ピッチ区間の終端のピッチの値から、その始端のピッチの値を減算した値を、同じ行の制御対象に加算することを示している。
「(最大ピッチ−終端ピッチ)×ピッチ補正係数」は、最大ピッチ特定部103で特定されたピッチの最大値から、その終端のピッチの値を減算した値に、ピッチ補正係数入力部107から与えられるピッチ補正係数を乗算した値を、同じ行の制御対象に加算することを示している。
「スプライン補間」は、文末ピッチ区間の始端のピッチと、その終端のピッチとの間のピッチの値を、始端のピッチの値及び終端のピッチの値によるスプライン補間で求めることを示している。補間を行う際の始端のピッチの値及び終端のピッチの値は、補正が行われる場合には、補正後の値である。
図4(A)及び(B)は、平板型のアクセントでモーラ数4の言語属性情報を持つ「はんたい」という単語のピッチパターンを質問調のピッチパターンに補正する例である。
図4(A)は、補正前のピッチパターンを示している。
この場合、属性情報が「平板」を示しているため、ピッチパターン補正部109は、例えば、図6に示されているピッチパターン補正方法情報108aから、平板のピッチパターン補正方法を選択する。
このため、図4(B)に示されているように、ピッチパターン補正部109は、与えられたピッチ補正係数をピッチの最大値に積算した値を、文末ピッチ区間の終端のピッチの値に加算することで補正を行っている。さらに、ピッチパターン補正部109は、文末ピッチ区間のピッチパターンにおいて、始端のピッチと、終端のピッチとの間のピッチの値に対して、終端のピッチの値と始端のピッチの値とを用いて線形補間を行っている。
図5(A)及び(B)は、1文字目にアクセントがあり、モーラ数3の言語属性情報を持つ非平板型の「そぐね」という単語のピッチパターンを質問調のピッチパターンに補正する例である。
図5(A)は、補正前のピッチパターンを示している。
この場合、言語属性情報が「非平板」を示しているため、ピッチパターン補正部109は、例えば、図6に示されているピッチパターン補正方法情報108aから、非平板のピッチパターン補正方法を選択する。
このため、図5(B)に示されているように、ピッチパターン補正部109は、文末ピッチ区間の終端のピッチの値から、文末ピッチ区間の始端のピッチの値を減算した値を、始端のピッチの値に加算することで補正を行っている。これにより、文末ピッチ区間の始端のピッチの値は、補正前の終端のピッチの値に変換されている。
また、ピッチパターン補正部109は、与えられたピッチ補正係数を、ピッチの最大値と、文末ピッチ区間の終端のピッチの値との差分に積算した値を、終端のピッチの値に加算することで補正を行っている。
さらに、ピッチパターン補正部109は、文末ピッチ区間ピッチパターンにおいて、始端のピッチと終端のピッチとの間のピッチの値に対して、補正後の値からスプライン補間を行っている。
なお、図4及び図5では、平板型のアクセントと、非平板型のアクセントとでピッチパターン補正方法を選択する場合を示しているが、子音の種類又はモーラ数等の他の言語属性情報を利用して、ピッチパターン補正方法が選択されてもよい。
例えば、末尾音韻の子音が有声音である場合と、それが無声音である場合とで、末尾から継続するピッチパターンの長さが異なる。このため、例えば、ピッチパターンが長い有声音の場合には緩やかな変化を、ピッチパターンが短い有声音の場合には急激な変化となるように、ピッチパターン補正方法を選択することができる。
また、同様にモーラ数が短い場合(音韻数が少ない場合)に緩やかな変化となるように、モーラ数が長い場合に急激な変化となるように、ピッチパターン補正方法を選択することができる。
さらに、音韻情報の中には、有声情報若しくは無声情報、又は、子音の種類を示す情報が内包されており、それらの情報を用いて、ピッチパターン補正方法が選択されてもよい。
また、図4及び図5では、始端のピッチと、終端のピッチとの間のピッチについて、選択されたピッチパターン補正方法で補間するようにしたが、実施の形態1はこのような例に限定されない。例えば、ピッチパターン補正方法によらず、固定の方法で補間が行われてもよい。
また、図4及び図5では、文末ピッチ区間のピッチパターンについて補正が行われているが、文末ピッチ区間だけでなく、ピッチパターン全てに対して補正が行われてもよい。
以上のように、実施の形態1では、言語属性情報に応じてピッチパターン補正方法が選択される。これにより、平叙音声と発話様式と間のピッチパターンの差が、アクセント位置等の言語属性情報により大きく異なる場合においても、言語属性情報に応じたピッチパターン補正方法を選択することが可能となり、韻律補正の精度が改善し、発話様式が知覚されやすい自然なピッチパターンを実現することができる。
実施の形態2.
図7は、実施の形態2に係るピッチパターン補正装置200の構成を概略的に示すブロック図である。
ピッチパターン補正装置200は、音声情報入力部101と、ピッチパターン取得部102と、最大ピッチ特定部203と、ピッチ補正係数入力部107と、ピッチパターン補正方法記憶部208と、ピッチパターン補正部209と、部分ピッチ補正部210とを備える。
実施の形態2におけるピッチパターン補正装置200の音声情報入力部101、ピッチパターン取得部102及びピッチ補正係数入力部107は、実施の形態1におけるピッチパターン補正装置100の音声情報入力部101、ピッチパターン取得部102及びピッチ補正係数入力部107と同様である。
但し、ピッチパターン取得部102は、取得されたピッチパターンを部分ピッチ補正部210及びピッチパターン補正部209に与える。
部分ピッチ補正部210は、ピッチパターンにおいて、少なくとも一つの特定の区間を補正する。
部分ピッチ補正部210は、最大ピッチ区間抽出部211と、最大ピッチ区間補正方法記憶部212と、最大ピッチ区間補正部213と、文末ピッチ区間抽出部214と、文末ピッチ区間補正方法記憶部216と、文末ピッチ区間補正部215とを備える。
最大ピッチ区間抽出部211は、ピッチパターン取得部102から与えられるピッチパターンにおいて、文末フレーズ内のピッチの最大値を含む音韻に対応する区間である最大ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す最大ピッチ区間抽出情報を生成する。生成された最大ピッチ区間抽出情報は、最大ピッチ区間補正部213に与えられる。
例えば、最大ピッチ区間抽出情報は、ピッチの最大値に対応する音韻のピッチパターン、又は、ピッチの最大値に対応する音韻及びその付近の音韻におけるピッチパターンであってもよい。なお、最大ピッチ区間抽出情報は、周波数そのものであってもよく、離散化又はシンボル化された情報であってもよい。
最大ピッチ区間補正方法記憶部212は、最大ピッチ区間のピッチパターンの補正方法である最大ピッチ区間補正方法を示す最大ピッチ区間補正方法情報を記憶する。
最大ピッチ区間補正方法は、例えば、補正式そのものであってもよく、プログラム内の条件分岐を示したものであってもよい。
最大ピッチ区間補正部213は、最大ピッチ区間抽出部211から与えられる最大ピッチ区間情報で示される最大ピッチ区間を、最大ピッチ区間補正方法記憶部212に記憶されている最大ピッチ区間補正方法情報で示される最大ピッチ区間補正方法に従って補正する。そして、最大ピッチ区間補正部213は、補正されたピッチパターンを示す補正最大ピッチ区間情報を生成し、その補正最大ピッチ区間情報を、最大ピッチ特定部203及びピッチパターン補正部209に与える。
文末ピッチ区間抽出部214は、ピッチパターン取得部102から与えられるピッチパターンにおいて、音声の文末の音韻に対応する区間である文末ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す文末ピッチ区間抽出情報を生成する。生成された文末ピッチ区間情報は、文末ピッチ区間補正部215に与えられる。
文末ピッチ区間抽出情報は、発話様式の特徴が出現する区間のピッチパターンを含む情報であればよい。例えば、文末ピッチ区間抽出情報は、末尾音韻のピッチパターン、又は、末尾音韻及びその付近の音韻におけるピッチパターンであってもよい。なお、文末ピッチ区間抽出情報は、周波数そのものであってもよく、離散化又はシンボル化された情報であってもよい。
文末ピッチ区間補正方法記憶部216は、文末ピッチ区間のピッチパターンの補正方法である文末ピッチ区間補正方法を示す文末ピッチ区間補正方法情報を記憶する。
文末ピッチ区間補正方法は、例えば、補正式そのものであってもよく、プログラム内の条件分岐を示したものであってもよい。
文末ピッチ区間補正部215は、文末ピッチ区間抽出部214から与えられる文末ピッチ区間情報で示される文末区間を、文末ピッチ区間補正方法記憶部216に記憶されている文末ピッチ区間補正方法情報で示される文末ピッチ区間補正方法に従って補正する。そして、文末ピッチ区間補正部215は、補正されたピッチパターンを示す補正文末ピッチ区間情報を生成し、その補正文末ピッチ区間情報を、ピッチパターン補正部209に与える。
最大ピッチ特定部203は、部分ピッチ補正部210で補正された特定の区間を含むピッチパターンにおいて、音声における文末フレーズに含まれているピッチの最大値を特定する。
具体的には、最大ピッチ特定部203は、最大ピッチ区間補正部213から与えられる補正最大ピッチ区間情報で示されるピッチパターンより、ピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する。そして、最大ピッチ特定部203は、その最大ピッチ情報をピッチパターン補正部209に与える。
ピッチパターン補正方法記憶部208は、ピッチパターンの補正方法を示すピッチパターン補正方法情報を記憶する。実施の形態2では、ピッチパターン補正方法情報は、言語属性毎に、ピッチパターン補正方法を示している必要はなく、変更する発話様式毎に、ピッチパターン補正方法が定められていればよい。
ピッチパターン補正方法は、例えば、補正式そのものであってもよく、プログラム内の条件分岐を示したものであってもよい。
ピッチパターン補正部209は、最大ピッチ特定部203から与えられる最大ピッチ情報で示される最大値、及び、文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、部分ピッチ補正部210により補正された特定の区間を含むピッチパターンを補正することで、音声の発話様式を変更する。ここで、文末ピッチ区間補正部215により文末ピッチ区間が補正されている場合には、補正後のピッチの値が用いられる。
具体的には、ピッチパターン補正部209は、最大ピッチ区間補正部213から与えられる補正最大ピッチ区間情報で示されるピッチパターンと、文末ピッチ区間補正部215から与えられる補正文末ピッチ区間情報で示されるピッチパターンとを、ピッチパターン取得部102から与えられるピッチパターンに合成することで、部分補正ピッチパターンを生成する。
ピッチパターン補正部209は、ピッチパターン補正方法記憶部108に記憶されているピッチパターン補正方法情報から、部分補正ピッチパターンを補正する発話様式に応じたピッチパターン補正方法を取得する。
そして、ピッチパターン補正部209は、取得されたピッチパターン補正方法により、最大ピッチ特定部203から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数入力部107から与えられるピッチ補正係数を必要に応じて使用し、文末ピッチ区間補正部215から与えられる補正文末ピッチ区間情報で示されるピッチパターンに対応する区間(即ち、文末ピッチ区間)の部分補正ピッチパターンを補正する。
なお、補正された部分補正ピッチパターンは、補正ピッチパターンとして出力される。
実施の形態2に係るピッチパターン補正装置200についても、図2に示されているコンピュータ130により実現することができる。
例えば、メモリ131は、プロセッサ132を、ピッチパターン取得部102、最大ピッチ特定部203、ピッチパターン補正部109及び部分ピッチ補正部210として機能させるプログラムを記憶する。
また、メモリ131は、ピッチパターン補正方法情報を記憶するピッチパターン補正方法記憶部108、最大ピッチ区間補正方法情報を記憶する最大ピッチ区間補正方法記憶部212及び文末ピッチ区間補正方法情報を記憶する文末ピッチ区間補正方法記憶部216として機能する。
図8は、ピッチパターン補正装置200の動作を示すフローチャートである。
まず、ピッチパターン取得部102は、音声情報入力部101から、少なくともピッチパターンを特定することのできる音声情報を受け取り、その音声情報で特定されるピッチパターンを取得する(S20)。ここでの処理は、図3に示されているステップS10での処理と同様である。取得されたピッチパターンは、最大ピッチ区間抽出部211、文末ピッチ区間抽出部214及びピッチパターン補正部209に与えられる。
次に、最大ピッチ区間抽出部211は、与えられたピッチパターンから、文末フレーズ内のピッチの最大値を含む音韻に対応する区間である最大ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す最大ピッチ区間抽出情報を生成する(S21)。生成された最大ピッチ区間抽出情報は、最大ピッチ区間補正部213に与えられる。
次に、文末ピッチ区間抽出部214は、与えられたピッチパターンから、文末のピッチを含む文末ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す文末ピッチ区間抽出情報を生成する(S22)。生成された文末ピッチ区間情報は、文末ピッチ区間補正部215に与えられる。なお、文末ピッチ区間の特定方法については、図3に示されているステップS13と同様である。
次に、ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチパターン補正部209に与える(S23)。ここでの処理は、図3に示されているステップS14と同様である。
次に、最大ピッチ区間補正部213は、与えられた最大ピッチ区間情報で示される最大ピッチ区間のピッチパターンを、最大ピッチ区間補正方法に従って補正する(S24)。そして、最大ピッチ区間補正部213は、補正されたピッチパターンを示す補正最大ピッチ区間情報を生成し、その補正最大ピッチ区間情報を、最大ピッチ特定部203及びピッチパターン補正部209に与える。
次に、文末ピッチ区間補正部215は、与えられた文末ピッチ区間情報で示される文末区間のピッチパターンを、文末ピッチ区間補正方法に従って補正する(S25)。そして、文末ピッチ区間補正部215は、補正されたピッチパターンを示す補正文末ピッチ区間情報を生成し、その補正文末ピッチ区間情報を、ピッチパターン補正部209に与える。
次に、最大ピッチ特定部203は、与えられた補正最大ピッチ区間情報で示されるピッチパターンにおいて、ピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する(S26)。そして、最大ピッチ特定部203は、その最大ピッチ情報をピッチパターン補正部209に与える。
次に、ピッチパターン補正部209は、ピッチパターンの補正を行う(S27)。具体的には、以下の通りである。
まず、ピッチパターン補正部209は、与えられた補正最大ピッチ区間情報で示されるピッチパターンと、与えられた補正文末ピッチ区間情報で示されるピッチパターンとを、与えられたピッチパターンに合成することで、部分補正ピッチパターンを生成する。
次に、ピッチパターン補正部209は、部分補正ピッチパターンを補正する発話様式に対応するピッチパターン補正方法を、ピッチパターン補正方法記憶部208に記憶されているピッチパターン補正方法情報から取得する。
そして、ピッチパターン補正部209は、取得されたピッチパターン補正方法により、与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数入力部107から与えられるピッチ補正係数を必要に応じて使用し、与えられた補正文末ピッチ区間情報で示されるピッチパターンに対応する区間の部分補正ピッチパターンを補正する(S27)。
なお、図8に示されているフローチャートにおいて、ステップS21〜S23の処理は、並行して行うことができ、どのステップから行われてもよい。
図9は、最大ピッチ区間補正部213の動作例を示す概略図である。
また、図10は、最大ピッチ区間補正方法記憶部212に記憶されている最大ピッチ区間補正方法情報の一例を示す概略図である。
図10に示されているように、最大ピッチ区間補正方法情報212aは、発話様式列212bと、最大ピッチ区間補正方法列212cとを備えるテーブル形式の情報である。
発話様式列212bは、ピッチパターン補正部209で補正を行うことで生成する発話様式を示している。ここでは、発話様式として、「平叙」、「質問」及び「確認」が示されている。「平叙」は、ピッチパターン補正部209で補正を行うことで平叙調のピッチパターンを生成することを示している。「質問」は、ピッチパターン補正部209で補正を行うことで質問調のピッチパターンを生成することを示している。「確認」は、ピッチパターン補正部209で補正を行うことで確認調のピッチパターンを生成することを示している。
最大ピッチ区間補正方法列212cには、同じ行の発話様式に応じて、最大ピッチ区間に含まれているピッチを補正する補正方法である最大ピッチ区間補正方法が示されている。
図9(A)及び(B)は、1文字目にアクセントがあり、モーラ数3の言語属性情報を持つ非平板型の「そぐね」という単語のピッチパターンを質問調のピッチパターンに補正する場合における、最大ピッチ区間補正方法の一例である。
図9(A)は、補正前のピッチパターンを示している。
最大ピッチ区間補正部213は、図10に示されている最大ピッチ区間補正方法情報212aから質問調に対応する最大ピッチ区間補正方法を選択し、図9(B)に示されているように、最大ピッチ区間のピッチを補正する。ここでは、最大ピッチ区間補正部213は、その値を1.2倍している。この例では、最大ピッチ区間は、音韻「o」の2サンプルのピッチであり、それぞれの値が1.2倍されている。
図11は、文末ピッチ区間補正部215の動作例を示す概略図である。
また、図12は、文末ピッチ区間補正方法記憶部216に記憶されている文末ピッチ区間補正方法情報の一例を示す概略図である。
図12に示されているように、文末ピッチ区間補正方法情報216aは、発話様式列216bと、文末ピッチ区間補正方法列216cとを備えるテーブル形式の情報である。
発話様式列216bは、ピッチパターン補正部209で補正を行うことで生成する発話様式を示している。ここでは、発話様式として、「平叙」、「質問」及び「確認」が示されている。
文末ピッチ区間補正方法列216cには、同じ行の発話様式に応じて、文末ピッチ区間に含まれているピッチを補正する補正方法である文末ピッチ区間補正方法が示されている。
図11(A)及び(B)は、1文字目にアクセントがあり、モーラ数3の言語属性情報を持つ非平板型の「そぐね」という単語のピッチパターンを質問調のピッチパターンに補正する場合における、文末ピッチ区間補正方法の一例である。
図11(A)は、補正前のピッチパターンを示している。
文末ピッチ区間補正部215は、図12に示されている文末ピッチ区間補正方法情報216aから質問調に対応する文末ピッチ区間補正方法を選択し、図11(B)に示されているように、文末ピッチ区間のピッチを補正する。ここでは、文末ピッチ区間補正部215は、その値を0.9倍している。この例では、文末ピッチ区間は、音韻「e」の2サンプルのピッチであり、それぞれの値が0.9倍されている。
なお、最大ピッチ区間補正部213又は文末ピッチ区間補正部215の補正対象が複数サンプルである場合には、均一の補正値とする必要はなく、サンプル位置に応じた補正方法が設定されてもよい。また、最大ピッチ区間又は文末ピッチ区間に含まれている始端のピッチと、終端のピッチとを補正した上で、その間のピッチが補間されてもよい。さらに、補正対象となる最大ピッチ区間又は文末ピッチ区間に含まれている値が統計値であれば、統計値が補正方法に従うように、各サンプルが補正されればよい。
図13は、実施の形態2におけるピッチパターン補正部209の動作例を示す概略図である。
また、図14は、ピッチパターン補正方法記憶部208に記憶されているピッチパターン補正方法情報の一例を示す概略図である。
図14に示されているように、ピッチパターン補正方法情報208aは、発話様式列208bと、ピッチパターン補正方法列208cとを備えるテーブル形式の情報である。
発話様式列208bは、ピッチパターン補正部209で補正を行うことで生成する発話様式を示している。ここでは、発話様式として、「平叙」、「質問」及び「確認」が示されている。
ピッチパターン補正方法列208cには、同じ行の発話様式に応じて、部分補正ピッチパターンに含まれているピッチを補正する補正方法であるピッチパターン補正方法が示されている。
図13(A)は、補正最大ピッチ区間情報で示されるピッチパターンと、補正文末ピッチ区間情報で示されるピッチパターンとを、ピッチパターンに合成することで生成された部分補正ピッチパターンを示している。
ピッチパターン補正部209は、図14に示されているピッチパターン補正方法情報208aから質問調に対応するピッチパターン補正方法を選択し、図13(B)に示されているように、文末ピッチ区間のピッチを補正する。ここでは、ピッチパターン補正部209は、最大ピッチ特定部203から与えられるピッチの最大値から、文末ピッチ区間の終端のピッチの値を減算した値に、ピッチ補正係数入力部107から与えられるピッチ補正係数を乗算した値を、文末ピッチ区間の終端のピッチの値に加算している。
以上の実施の形態2では、最大ピッチ区間の補正と、文末ピッチ区間の補正との両方が実施されているが、実施の形態2はこのような例に限定されない。例えば、実施の形態2において、最大ピッチ区間の補正と、文末ピッチ区間の補正とのいずれか一方が行われてもよい。
なお、最大ピッチ区間の補正を行わない場合には、最大ピッチ区間抽出部211、最大ピッチ区間補正方法記憶部212及び最大ピッチ区間補正部213を省略することができる。この場合、最大ピッチ特定部203は、実施の形態1における最大ピッチ特定部103と同様に、ピッチパターン取得部102から与えられるピッチパターンにおいて、文末フレーズの最大値を特定すればよい。
また、実施の形態2では、最大ピッチ区間及び文末ピッチ区間のピッチを補正しているが、文末フレーズの始端のピッチに対応する区間、又は、文末フレーズのピッチの最小値に対応する区間が補正されてもよい。変更する発話様式に応じて、ピッチを修正する区間が選択できるようにすればよい。
また、実施の形態2では、最大ピッチ補正方法、文末ピッチ補正方法又はピッチパターン補正方法を選択して、ピッチを補正するように構成されているが、実施の形態2は、このような例に限定されない。例えば、補正を行う発話様式が決まっている場合等では、それらの補正方法を固定のものとすることができる。このような場合には、最大ピッチ区間補正方法記憶部212、文末ピッチ区間補正方法記憶部216及びピッチパターン補正方法記憶部208を省略することも可能である。
以上のように、実施の形態2では、最大ピッチ区間補正部213及び文末ピッチ区間補正部215の少なくとも一つが備えられ、ピッチの値を補正するように構成しているため、発話様式により強調又は変化する抑揚を含む補正が可能であり、生成されるピッチパターンの発話様式の知覚精度が改善できるという効果がある。
また、実施の形態2において、文末フレーズの始端のピッチ、又は、そのピッチの最小値等、他の箇所のピッチパターンを補正するように構成した場合には、最大ピッチ区間又は文末ピッチ区間における抑揚以外にも、発話様式毎に知覚精度に影響が強い抑揚を考慮した補正が可能であり、生成されるピッチパターンの発話様式の知覚精度が改善できるという効果がある。
なお、実施の形態2におけるピッチパターン補正装置200が、実施の形態1におけるピッチパターン補正装置100の言語情報入力部105、言語属性情報取得部106及びピッチパターン補正方法記憶部108を備え、ピッチパターン補正部209が、実施の形態1と同様に、言語属性に応じて、ピッチパターン補正方法を切り替えるようにしてもよい。
実施の形態3.
図15は、実施の形態3に係るピッチパターン補正装置300の構成を概略的に示すブロック図である。
ピッチパターン補正装置300は、音声情報入力部101と、ピッチパターン取得部102と、最大ピッチ特定部103と、文末ピッチ区間特定部104と、ピッチ補正係数入力部107と、ピッチパターン補正方法記憶部208と、ピッチパターン補正部309と、継続長情報入力部320と、ピッチ補正係数修正部321とを備える。
実施の形態3に係るピッチパターン補正装置300の音声情報入力部101、ピッチパターン取得部102、最大ピッチ特定部103、文末ピッチ区間特定部104及びピッチ補正係数入力部107は、実施の形態1に係るピッチパターン補正装置100の音声情報入力部101、ピッチパターン取得部102、最大ピッチ特定部103、文末ピッチ区間特定部104及びピッチ補正係数入力部107と同様である。
また、実施の形態3に係るピッチパターン補正装置300のピッチパターン補正方法記憶部208は、実施の形態2に係るピッチパターン補正装置200のピッチパターン補正方法記憶部208と同様である。
但し、ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチ補正係数修正部321に与える。
継続長情報入力部320は、韻律として、ピッチパターンを補正する区間に対応する音声の長さである継続長、言い換えると、韻律の補正対象となる区間の継続長を示す継続長情報の入力を受ける。ここで、実施の形態3においては、韻律の補正対象となる区間は、文末ピッチ区間である。継続長情報は、ピッチ補正係数修正部321に与えられる。
ピッチ補正係数修正部321は、ピッチ補正係数入力部107から与えられるピッチ補正係数を、継続長情報入力部320から与えられる継続長情報に従って修正することで、修正ピッチ補正係数を生成する。そして、生成された修正ピッチ補正係数は、ピッチパターン補正部309に与えられる。これにより、ピッチパターン補正部309は、音声の韻律に応じて、ピッチパターンを補正する補正量を変更することができる。
ピッチパターン補正部309は、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値、及び、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチパターン取得部102から与えられるピッチパターンを補正することで、音声の発話様式を変更する。ここで、ピッチパターン補正部は、音声の韻律に応じて、ピッチパターンを補正する補正量を変更する。
例えば、ピッチパターン補正部309は、ピッチパターン取得部102から与えられるピッチパターンを補正する発話様式に対応するピッチパターン補正方法を、ピッチパターン補正方法記憶部208に記憶されているピッチパターン補正方法情報から選択する。
そして、ピッチパターン補正部309は、選択されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数修正部321から与えられる修正ピッチ補正係数を必要に応じて使用し、ピッチパターン取得部102から与えられるピッチパターンにおいて、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間を補正する。
なお、補正されたピッチパターンは、補正ピッチパターンとして出力される。
実施の形態3に係るピッチパターン補正装置300についても、図2に示されているコンピュータ130により実現することができる。
例えば、メモリ131は、プロセッサ132を、ピッチパターン取得部102、最大ピッチ特定部103、文末ピッチ区間特定部104、ピッチ補正係数修正部321及びピッチパターン補正部309として機能させるプログラムを記憶する。
また、ピッチ補正係数修正部321は、ネットワークI/F133、テキスト入力I/F134又は画像入力I/F135により実現することができる。
図16は、ピッチパターン補正装置300の動作を示すフローチャートである。
まず、ピッチパターン取得部102は、音声情報入力部101から、少なくともピッチパターンを特定することのできる音声情報を受け取り、その音声情報で特定されるピッチパターンを取得する(S30)。ここでの処理は、図3におけるステップS10の処理と同様である。取得されたピッチパターンは、最大ピッチ特定部103、文末ピッチ区間特定部104及びピッチパターン補正部309に与えられる。
次に、最大ピッチ特定部103は、ピッチパターンから末尾フレーズ内のピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する(S31)。ここでの処理は、図3におけるステップS12の処理と同様である。そして、生成された最大ピッチ情報は、ピッチパターン補正部309に与えられる。
次に、文末ピッチ区間特定部104は、ピッチパターンから文末部分のピッチパターンの区間を特定して、特定されたピッチパターンの区間を示す文末ピッチ区間情報を生成する(S32)。ここでの処理は、図3におけるステップS13の処理と同様である。生成された文末ピッチ区間情報は、ピッチパターン補正部309に与えられる。
次に、ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチ補正係数修正部321に与える(S33)。なお、実施の形態3では、ピッチ補正係数が入力されているが、実施の形態3はこのような例に限定されない。例えば、ピッチ補正係数が固定の値である場合には、ピッチ補正係数修正部321として機能するプログラムに、その値が含まれていてもよい。この場合には、ピッチ補正係数入力部107はなくてもよい。
次に、継続長情報入力部320は、継続長情報の入力を受け付ける(S34)。入力された継続長情報は、ピッチ補正係数修正部321に与えられる。
なお、実施の形態3では、継続長情報入力部320が継続長情報の入力を直接受け付けるようにしているが、例えば、ピッチ補正係数修正部321が、音声情報入力部101に入力される音声情報から、継続長を特定するようにしてもよい。この場合、ピッチ補正係数修正部321は、公知の音声認識手法を用いて音韻の時間情報を推測し、文末ピッチ区間の継続長を特定してもよい。
公知の音声認識手法は、例えば、下記の文献に記載されている。
古井貞熙著、「音声情報処理」、第1版、森北出版株式会社、1998年6月30日、p.96〜105
次に、ピッチ補正係数修正部321は、継続長情報に応じてピッチ補正係数を修正することで、修正ピッチ補正係数を生成する(S35)。生成された修正ピッチ補正係数は、ピッチパターン補正部309に与えられる。
例えば、ピッチ補正係数修正部321は、下記の(1)式に示されているように、線形変換により、ピッチ補正係数の修正を行えばよい。
=IDur×I÷DefDur (1)
ここで、Iは、ピッチ補正係数を示し、IDurは、継続長を示し、DefDurは、予め設定された基準ピッチ継続長を示し、Oは、修正ピッチ補正係数を示す。
また、ピッチ補正係数修正部321には、継続長に応じて離散的な修正ピッチ補正係数が予め設定され、ピッチ補正係数修正部321は、ピッチ補正係数を、設定された修正ピッチ補正係数で置き換えるようにしてもよい。
次に、ピッチパターン補正部309は、ピッチパターンの補正を行う(S36)。具体的には、以下の通りである。
まず、ピッチパターン補正部309は、補正により生成する発話様式に対応するピッチパターン補正方法を取得する。
そして、ピッチパターン補正部309は、取得されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間に含まれているピッチの少なくとも何れか一方に応じて、ピッチ補正係数修正部321から与えられる修正ピッチ補正係数を必要に応じて使用し、ピッチパターン取得部102から与えられるピッチパターンの内、文末ピッチ区間特定部104から与えられる文末ピッチ区間情報で示される文末ピッチ区間を補正する。なお、補正されたピッチパターンは、補正ピッチパターンとして出力される。
なお、図16に示されているフローチャートにおいて、ステップS31〜S33の処理は、並行して行うことができ、どのステップから行われてもよい。
図17は、実施の形態3におけるピッチパターン補正部309の動作例を示す。
なお、実施の形態3におけるピッチパターン補正方法記憶部208には、図14に示されているようなピッチパターン補正方法情報208aが記憶されているものとする。
図17(A)及び(B)は、1文字目にアクセントがあり、モーラ数3の言語属性情報を持つ非平板型の「そぐね」という単語のピッチパターンを質問調のピッチパターンに補正する場合の一例である。
図17(A)は、補正前のピッチパターンを示している。
ピッチパターン補正部309は、発話様式を質問にするピッチパターン補正方法に基づいて、図17(B)に示されているように、文末ピッチ区間における後端のピッチの値を補正する。ここでは、修正ピッチ補正係数が「0.8」であり、ピッチの最大値よりも低い値となるように、後端のピッチの値が補正されている。
なお、実施の形態3では、継続長情報で示される継続長を基準にピッチ補正係数を修正しているが、実施の形態3はこのような例に限定されない。例えば、文末ピッチ区間の継続長以外の発話音声の韻律を用いてピッチ補正係数が修正されてもよい。例えば、発話全体の継続長又は話速といった韻律に基づいて、ピッチ補正係数が修正されてもよい。また、抑揚の大きさといった韻律に基づいて、ピッチ補正係数が修正されてもよい。
また、継続長又はピッチの統計値(例えば、平均、分散又は中央値等)に応じて、ピッチ補正係数が修正されてもよい。これらを組み合わせた情報に基づいて、ピッチ補正係数が修正されてもよい。
以上のように、実施の形態3によれば、補正量に影響を与えるピッチ補正係数を継続長に応じて修正することができる。継続長に応じて発話様式の知覚に十分な補正量が異なるため、継続長に応じた補正量の設定ができるようになり、発話様式が知覚されやすい自然なピッチパターンを実現することができる。
また、文末ピッチ区間の継続長だけでなく、他の韻律を用いて補正量を修正するように構成した場合には、発話内容等による細かな変化も考慮することが可能となり、より発話様式が知覚されやすい自然なピッチパターンを実現することができる。
なお、実施の形態3におけるピッチパターン補正装置300が、実施の形態1におけるピッチパターン補正装置100の言語情報入力部105、言語属性情報取得部106及びピッチパターン補正方法記憶部108を備え、ピッチパターン補正部309が、実施の形態1と同様に、言語属性に応じて、ピッチパターン補正方法を切り替えるようにしてもよい。
また、実施の形態3におけるピッチパターン補正装置300が、実施の形態2におけるピッチパターン補正装置200の部分ピッチ補正部210及び最大ピッチ特定部203を備え、ピッチパターン補正部309が、部分ピッチ補正部210で補正された特定の区間を含むピッチパターンを補正するようにしてもよい。
実施の形態4.
図18は、実施の形態4に係るピッチパターン補正装置400の構成を概略的に示すブロック図である。
ピッチパターン補正装置400は、音声情報入力部101と、ピッチパターン取得部102と、最大ピッチ特定部203と、言語情報入力部105と、言語属性情報取得部106と、ピッチ補正係数入力部107と、ピッチパターン補正方法記憶部108と、ピッチパターン補正部409と、部分ピッチ補正部210と、継続長情報入力部320と、ピッチ補正係数修正部321とを備える。
実施の形態4に係るピッチパターン補正装置400の音声情報入力部101、ピッチパターン取得部102、言語情報入力部105、言語属性情報取得部106、ピッチ補正係数入力部107及びピッチパターン補正方法記憶部108は、実施の形態1に係るピッチパターン補正装置100の音声情報入力部101、ピッチパターン取得部102、言語情報入力部105、言語属性情報取得部106、ピッチ補正係数入力部107及びピッチパターン補正方法記憶部108と同様である。
また、実施の形態4に係るピッチパターン補正装置400の最大ピッチ特定部203及び部分ピッチ補正部210は、実施の形態2に係るピッチパターン補正装置200の最大ピッチ特定部203及び部分ピッチ補正部210と同様である。
このため、部分ピッチ補正部210は、図7に示されているように、最大ピッチ区間抽出部211と、最大ピッチ区間補正方法記憶部212と、最大ピッチ区間補正部213と、文末ピッチ区間抽出部214と、文末ピッチ区間補正方法記憶部216と、文末ピッチ区間補正部215とを備える。
さらに、実施の形態4に係るピッチパターン補正装置400の継続長情報入力部320及びピッチ補正係数修正部321は、実施の形態3に係るピッチパターン補正装置300の継続長情報入力部320及びピッチ補正係数修正部321と同様である。
ピッチパターン補正部409は、最大ピッチ特定部203から与えられる最大ピッチ情報で示される最大値、及び、部分ピッチ補正部210により補正された特定の区間を含むピッチパターンにおいて音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、部分ピッチ補正部210により補正された特定の区間を含むピッチパターンを補正することで、音声の発話様式を変更する。
例えば、ピッチパターン補正部409は、最大ピッチ区間補正部213から与えられる補正最大ピッチ区間情報で示されるピッチパターンと、文末ピッチ区間補正部215から与えられる補正文末ピッチ区間情報で示されるピッチパターンとを、ピッチパターン取得部102から与えられるピッチパターンに合成することで、部分補正ピッチパターンを生成する。
また、ピッチパターン補正部409は、言語属性情報取得部106から与えられた言語属性情報で示される言語属性に対応するピッチパターン補正方法を、ピッチパターン補正方法記憶部108に記憶されているピッチパターン補正方法情報から選択する。
そして、ピッチパターン補正部409は、選択されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間に含まれているピッチの少なくとも何れか一方に応じて、ピッチ補正係数修正部321から与えられる修正ピッチ補正係数を必要に応じて使用し、与えられた補正文末ピッチ区間情報で示されるピッチパターンに対応する区間の部分補正ピッチパターンを補正する。
なお、補正された部分補正ピッチパターンは、補正ピッチパターンとして出力される。
実施の形態4に係るピッチパターン補正装置400についても、図2に示されているコンピュータ130により実現することができる。
例えば、メモリ131は、プロセッサ132をピッチパターン補正部409として機能させるプログラムも記憶する。
図19は、ピッチパターン補正装置400の動作を示すフローチャートである。
まず、ピッチパターン取得部102は、音声情報入力部101から、少なくともピッチパターンを特定することのできる音声情報を受け取り、その音声情報で特定されるピッチパターンを取得する(S40)。ここでの処理は、図3に示されているステップS10の処理と同様である。取得されたピッチパターンは、最大ピッチ区間抽出部211、文末ピッチ区間抽出部214及びピッチパターン補正部409に与えられる。
次に、言語属性情報取得部106は、言語情報入力部105から、言語属性を特定することのできる言語情報を受け取り、その言語情報で特定される言語属性を示す言語属性情報を取得する(S41)。ここでの処理は、図3のステップS11での処理と同様である。取得された言語属性情報は、ピッチパターン補正部409に与えられる。
次に、最大ピッチ区間抽出部211は、与えられたピッチパターンにおいて、文末フレーズ内のピッチの最大値を含む音韻に対応する区間である最大ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す最大ピッチ区間抽出情報を生成する(S42)。ここでの処理は、図8のステップS21での処理と同様である。生成された最大ピッチ区間抽出情報は、最大ピッチ区間補正部213に与えられる。
次に、文末ピッチ区間抽出部214は、与えられたピッチパターンにおいて、文末のピッチを含む文末ピッチ区間のピッチパターンを抽出し、抽出されたピッチパターンを示す文末ピッチ区間抽出情報を生成する(S43)。ここでの処理は、図8のステップS22での処理と同様である。生成された文末ピッチ区間情報は、文末ピッチ区間補正部215に与えられる。
次に、ピッチ補正係数入力部107は、入力されたピッチ補正係数をピッチ補正係数修正部321に与える(S44)。ここでの処理は、図16のステップS33での処理と同様である。
次に、最大ピッチ区間補正部213は、与えられた最大ピッチ区間情報で示される最大区間のピッチパターンを、最大ピッチ区間補正方法に従って補正する(S45)。ここでの処理は、図8のステップS24の処理と同様である。そして、最大ピッチ区間補正部213は、補正されたピッチパターンを示す補正最大ピッチ区間情報を生成し、その補正最大ピッチ区間情報を、最大ピッチ特定部203及びピッチパターン補正部409に与える。
次に、文末ピッチ区間補正部215は、与えられた文末ピッチ区間情報で示される文末区間のピッチパターンを、文末ピッチ区間補正方法に従って補正する(S46)。ここでの処理は、図8のステップS25での処理と同様である。そして、文末ピッチ区間補正部215は、補正されたピッチパターンを示す補正文末ピッチ区間情報を生成し、その補正文末ピッチ区間情報を、ピッチパターン補正部409に与える。
次に、最大ピッチ特定部203は、与えられた補正最大ピッチ区間情報で示されるピッチパターンにおいて、ピッチの最大値を特定し、特定された最大値を示す最大ピッチ情報を生成する(S47)。ここでの処理は、図8のステップS26での処理と同様である。そして、最大ピッチ特定部203は、その最大ピッチ情報をピッチパターン補正部409に与える。
次に、継続長情報入力部320は、継続長情報の入力を受け付ける(S48)。ここでの処理は、図16のステップS34での処理と同様である。入力された継続長情報は、ピッチ補正係数修正部321に与えられる。
次に、ピッチ補正係数修正部321は、継続長情報に応じてピッチ補正係数を修正することで、修正ピッチ補正係数を生成する(S49)。ここでの処理は、図16のステップS35での処理と同様である。生成された修正ピッチ補正係数は、ピッチパターン補正部409に与えられる。
次に、ピッチパターン補正部409は、ピッチパターンの補正を行う(S50)。具体的には、以下の通りである。
まず、ピッチパターン補正部409は、補正最大ピッチ区間情報で示されるピッチパターンと、補正文末ピッチ区間情報で示されるピッチパターンとを、ピッチパターン取得部102から与えられるピッチパターンに合成することで、部分補正ピッチパターンを生成する。
次に、ピッチパターン補正部409は、言語属性情報で示される言語属性に対応するピッチパターン補正方法を、ピッチパターン補正方法記憶部108に記憶されているピッチパターン補正方法情報から選択する。
そして、ピッチパターン補正部409は、選択されたピッチパターン補正方法により、最大ピッチ特定部103から与えられる最大ピッチ情報で示される最大値及び文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、ピッチ補正係数修正部321から与えられる修正ピッチ補正係数を必要に応じて使用し、与えられた補正文末ピッチ区間情報で示されるピッチパターンに対応する区間の部分補正ピッチパターンを補正する。
図20は、実施の形態4におけるピッチパターン補正部409の動作例を示す。
なお、実施の形態4におけるピッチパターン補正方法記憶部108には、図6に示されているようなピッチパターン補正方法情報108aが記憶されているものとする。
図20(A)及び(B)は、1文字目にアクセントがあり、モーラ数3の言語属性情報を持つ非平板型の「そぐね」という単語のピッチパターンを質問調のピッチパターンに補正する場合の一例である。
図20(A)は、補正最大ピッチ区間情報で示されるピッチパターンと、補正文末ピッチ区間情報で示されるピッチパターンとを、ピッチパターンに合成することで生成された部分補正ピッチパターンを示している。
この場合、言語属性情報が「非平板」を示しているため、ピッチパターン補正部409は、例えば、図6に示されているピッチパターン補正方法情報108aから、非平板のピッチパターン補正方法を選択する。
このため、図20(B)に示されているように、ピッチパターン補正部409は、文末ピッチ区間の終端のピッチの値から、文末ピッチ区間の始端のピッチの値を減算した値を、始端のピッチの値に加算することで補正を行っている。これにより、文末ピッチ区間の始端のピッチの値は、補正前の終端のピッチの値に変換されている。
なお、ここでの終端のピッチの値は、文末ピッチ区間補正部215により、ピッチパターン取得部102から与えられたピッチパターンにおける終端のピッチの値に「0.9」が乗算された値となっている。
また、ピッチパターン補正部409は、与えられた修正ピッチ補正係数を、ピッチの最大値と、文末ピッチ区間の終端のピッチの値との差分に積算した値を、終端のピッチの値に加算することで補正を行っている。ここでのピッチの最大値は、最大ピッチ区間補正部213により、ピッチパターン取得部102から与えられたピッチパターンにおける最大値に「1.2」が乗算された値となっている。但し、修正ピッチ補正係数は、「0.8」になっている。
以上のように、実施の形態4によれば、平叙音声と発話様式との間のピッチパターンの差が、アクセント位置等の言語属性情報により大きく異なる場合においても、言語属性情報に応じた補正方法を実行することが可能であり、発話様式により強調又は変化する抑揚を補正可能であり、音韻の継続長に応じて発話様式の知覚に十分な補正量が異なるのに対し継続長に応じた補正量の設定ができるようになる。このため、韻律補正の精度が改善し、発話様式が知覚されやすい自然なピッチパターンを実現できるという効果がある。
また、ピッチの最大値付近の一定区間のピッチにおける平均又は中央値といった統計値を算出し、最大値と見なすように構成した場合に、ピッチの抽出精度が悪いことによる外れ値等の影響を抑制でき、ピッチの最大値を抽出する精度を改善できるという効果がある。
また、ステップS43において、発話様式によるピッチパターンの変化が末尾音韻付近の音韻まで影響がある場合に、文末ピッチ区間抽出部214が、影響のある音韻まで拡張した区間のピッチパターンを文末ピッチ区間情報とすると、発話様式に応じた柔軟な範囲のピッチパターンの補正が可能であり、発話様式の知覚精度が改善できるという効果がある。
また、ステップS45において、ピッチパターン補正部409が発声の平均値又は分散等の統計値を利用してピッチを補正するようにした場合、文末フレーズ全体のピッチパターンの傾向を考慮した補正を行うことができ、発話様式の知覚精度が改善できるという効果がある。
また、ステップS45において、ピッチパターン補正部409において、新たにフレーズ内の最小ピッチを抽出する手段を用意し、最小ピッチを考慮した補正を行えるように構成した場合に、最大ピッチと終端ピッチが近い平板型の発声においても、抑揚の大きさを考慮した補正が可能であり、生成されるピッチパターンの発話様式の知覚精度が改善できるという効果がある。
なお、言語属性情報に応じてピッチパターンの補正方法を選択するとともに、ピッチパターンの最大ピッチ区間及び文末ピッチ区間の少なくとも何れか一方を部分的に補正することで、アクセント等の言語属性も考慮したピッチの最大値及び文末ピッチの補正が可能となり、韻律補正の精度が改善し、発話様式が知覚されやすい自然なピッチパターンを実現できるという効果がある。
なお、言語属性情報に応じてピッチパターンの補正方法を選択するとともに、音声の韻律に応じて、ピッチパターンを補正する補正量を変更するようにすることで、例えば、アクセント位置から補正区間までの距離も考慮した補正量の修正が可能となり、韻律補正の精度が改善し、発話様式が知覚されやすい自然なピッチパターンを実現できるという効果がある。
なお、ピッチパターンの最大ピッチ区間及び文末ピッチ区間の少なくとも何れか一方を部分的に補正するとともに、音声の韻律に応じて、ピッチパターンを補正する補正量を変更するようにすることで、最大ピッチ区間及び文末ピッチ区間の補正による抑揚の変化を考慮したピッチ補正係数の修正が可能となり、韻律補正の精度が改善し、発話様式が知覚されやすい自然なピッチパターンを実現できるという効果がある。
100,200,300,400 ピッチパターン補正装置、 101 音声情報入力部、 102 ピッチパターン取得部、 103,203 最大ピッチ特定部、 104 文末ピッチ区間特定部、 105 言語情報入力部、 106 言語属性情報取得部、 107 ピッチ補正係数入力部、 108,208 ピッチパターン補正方法記憶部、 109,209,309,409 ピッチパターン補正部、 210 部分ピッチ補正部、 211 最大ピッチ区間抽出部、 212 最大ピッチ区間補正方法記憶部、 213 最大ピッチ区間補正部、 214 文末ピッチ区間抽出部、 215 文末ピッチ区間補正部、 216 文末ピッチ区間補正方法記憶部、 320 継続長情報入力部、 321 ピッチ補正係数修正部。

Claims (13)

  1. 音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部と、
    前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定する文末ピッチ区間特定部と、
    前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部と、を備え、
    前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更すること
    を特徴とするピッチパターン補正装置。
  2. 前記韻律は、前記ピッチパターンを補正する区間に対応する、前記音声の長さであること
    を特徴とする請求項1に記載のピッチパターン補正装置。
  3. 前記韻律は、前記音声の全体の長さであること
    を特徴とする請求項1に記載のピッチパターン補正装置。
  4. 前記韻律は、前記音声の話速であること
    を特徴とする請求項1に記載のピッチパターン補正装置。
  5. 前記韻律は、前記音声における抑揚の大きさであること
    を特徴とする請求項1に記載のピッチパターン補正装置。
  6. 前記ピッチパターン補正部は、前記音声の韻律に関する統計値(但し、ピッチの最大値を除く)を用いて、前記補正量を変更すること
    を特徴とする請求項1に記載のピッチパターン補正装置。
  7. 前記ピッチパターン補正部は、前記音声における言語の属性である言語属性に応じて、前記ピッチパターンを補正する方法であるピッチパターン補正方法を切り替えること
    を特徴とする請求項1から6の何れか一項に記載のピッチパターン補正装置。
  8. 音声のピッチパターンにおいて、特定の区間を補正する部分ピッチ補正部と、
    前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部と、
    前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部と、を備え、
    前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更すること
    を特徴とするピッチパターン補正装置。
  9. 前記ピッチパターン補正部は、前記音声における言語の属性である言語属性に応じて、前記補正された特定の区間を含むピッチパターンを補正する方法であるピッチパターン補正方法を切り替えること
    を特徴とする請求項8に記載のピッチパターン補正装置。
  10. コンピュータを、
    音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部、
    前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定する文末ピッチ区間特定部、並びに、
    前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部、として機能させ、
    前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更すること
    を特徴とするプログラム。
  11. コンピュータを、
    音声のピッチパターンにおいて、特定の区間を補正する部分ピッチ補正部、
    前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定する最大ピッチ特定部、並びに、
    前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正部、として機能させ、
    前記ピッチパターン補正部は、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更すること
    を特徴とするプログラム。
  12. 音声のピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定し、
    前記ピッチパターンにおいて、前記音声の文末の音韻に対応する区間である文末ピッチ区間を特定し、並びに、
    前記特定された最大値及び前記特定された文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記ピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正方法であって、
    前記ピッチパターンを補正する際に、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記ピッチパターンを補正する補正量を変更すること
    を特徴とするピッチパターン補正方法。
  13. 音声のピッチパターンにおいて、特定の区間を補正し、
    前記補正された特定の区間を含むピッチパターンにおいて、前記音声における文末フレーズに含まれているピッチの最大値を特定し、並びに、
    前記特定された最大値、及び、前記補正された特定の区間を含むピッチパターンにおいて前記音声の文末の音韻に対応する区間である文末ピッチ区間に含まれるピッチの少なくとも何れか一方に応じて、前記補正された特定の区間を含むピッチパターンを補正することで、前記音声の発話様式を変更するピッチパターン補正方法であって、
    前記補正された特定の区間を含むピッチパターンを補正する際に、前記音声の韻律(但し、ピッチの最大値を除く)に応じて、前記補正された特定の区間を含むピッチパターンを補正する補正量を変更すること
    を特徴とするピッチパターン補正方法。
JP2020516498A 2019-11-06 2019-11-06 ピッチパターン補正装置、プログラム及びピッチパターン補正方法 Active JP6727477B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/043388 WO2021090381A1 (ja) 2019-11-06 2019-11-06 ピッチパターン補正装置、プログラム及びピッチパターン補正方法

Publications (2)

Publication Number Publication Date
JP6727477B1 true JP6727477B1 (ja) 2020-07-22
JPWO2021090381A1 JPWO2021090381A1 (ja) 2021-11-25

Family

ID=71663985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516498A Active JP6727477B1 (ja) 2019-11-06 2019-11-06 ピッチパターン補正装置、プログラム及びピッチパターン補正方法

Country Status (2)

Country Link
JP (1) JP6727477B1 (ja)
WO (1) WO2021090381A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075880A (ja) * 1998-09-01 2000-03-14 Nippon Telegr & Teleph Corp <Ntt> ピッチパタン変形方法及びその記録媒体
JP2008015362A (ja) * 2006-07-07 2008-01-24 Sharp Corp 韻律補正装置、音声合成装置、韻律補正方法、音声合成方法、韻律補正プログラム、および、音声合成プログラム
JP2015102773A (ja) * 2013-11-27 2015-06-04 日産自動車株式会社 音声発生装置、音声変形装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075880A (ja) * 1998-09-01 2000-03-14 Nippon Telegr & Teleph Corp <Ntt> ピッチパタン変形方法及びその記録媒体
JP2008015362A (ja) * 2006-07-07 2008-01-24 Sharp Corp 韻律補正装置、音声合成装置、韻律補正方法、音声合成方法、韻律補正プログラム、および、音声合成プログラム
JP2015102773A (ja) * 2013-11-27 2015-06-04 日産自動車株式会社 音声発生装置、音声変形装置及び方法

Also Published As

Publication number Publication date
JPWO2021090381A1 (ja) 2021-11-25
WO2021090381A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
JP5482042B2 (ja) 合成音声テキスト入力装置及びプログラム
EP0831460B1 (en) Speech synthesis method utilizing auxiliary information
US8433573B2 (en) Prosody modification device, prosody modification method, and recording medium storing prosody modification program
JP3070127B2 (ja) 音声合成装置のアクセント成分制御方式
JP6266372B2 (ja) 音声合成辞書生成装置、音声合成辞書生成方法およびプログラム
JP2008268477A (ja) 韻律調整可能な音声合成装置
JP2008249808A (ja) 音声合成装置、音声合成方法及びプログラム
JP6013104B2 (ja) 音声合成方法、装置、及びプログラム
JP2001109500A (ja) 音声合成装置および方法
JP3728173B2 (ja) 音声合成方法、装置および記憶媒体
JP6727477B1 (ja) ピッチパターン補正装置、プログラム及びピッチパターン補正方法
JP2009133890A (ja) 音声合成装置及びその方法
JP4584511B2 (ja) 規則音声合成装置
JP6762454B1 (ja) ピッチパターン補正装置、プログラム及びピッチパターン補正方法
JP7004872B2 (ja) ピッチパターン補正装置、プログラム及びピッチパターン補正方法
JP5874639B2 (ja) 音声合成装置、音声合成方法及び音声合成プログラム
JP4640063B2 (ja) 音声合成方法,音声合成装置,およびコンピュータプログラム
JP2007271910A (ja) 合成音声生成装置
JP4525162B2 (ja) 音声合成装置及びそのプログラム
JP2008058379A (ja) 音声合成システム及びフィルタ装置
JP2536169B2 (ja) 規則型音声合成装置
JP2018041116A (ja) 音声合成装置、音声合成方法およびプログラム
JP2016122033A (ja) 記号列生成装置、音声合成装置、音声合成システム、記号列生成方法、及びプログラム
JP2003330482A (ja) 基本周波数パターン生成方法、基本周波数パターン生成装置、音声合成方法、音声合成装置、基本周波数パターン生成プログラムおよび音声合成プログラム
JP2006084854A (ja) 音声合成装置、音声合成方法および音声合成プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200318

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250