JP6646001B2 - 音声処理装置、音声処理方法およびプログラム - Google Patents

音声処理装置、音声処理方法およびプログラム Download PDF

Info

Publication number
JP6646001B2
JP6646001B2 JP2017056290A JP2017056290A JP6646001B2 JP 6646001 B2 JP6646001 B2 JP 6646001B2 JP 2017056290 A JP2017056290 A JP 2017056290A JP 2017056290 A JP2017056290 A JP 2017056290A JP 6646001 B2 JP6646001 B2 JP 6646001B2
Authority
JP
Japan
Prior art keywords
sound
output
emphasized
unit
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017056290A
Other languages
English (en)
Other versions
JP2018159772A (ja
Inventor
山本 雅裕
雅裕 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017056290A priority Critical patent/JP6646001B2/ja
Priority to US15/688,617 priority patent/US10803852B2/en
Priority to CN201710761063.2A priority patent/CN108630213B/zh
Publication of JP2018159772A publication Critical patent/JP2018159772A/ja
Application granted granted Critical
Publication of JP6646001B2 publication Critical patent/JP6646001B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013Adapting to target pitch
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013Adapting to target pitch
    • G10L2021/0135Voice conversion or morphing

Description

本発明の実施形態は、音声処理装置、音声処理方法およびプログラムに関する。
日常環境の中で適切なメッセージを伝えることは非常に重要である。特にカーナビゲーションの中での注意喚起および危険通知、さらには緊急災害放送において周囲の環境音に埋もれることなく通知すべきメッセージなどは、その後の行動を考えても確実に届ける必要がある。
カーナビゲーションの中で注意喚起および危険通知を行うために広く行われている方法として、光による刺激、および、ブザー音の追加等が挙げられる。
特開2007−019980号公報
しかしながら、従来技術では、通常の音声ガイドから刺激を増やすことで注意喚起を行っているため、注意喚起の瞬間にドライバーなどの利用者が驚くという現象を生じさせる。驚いた後の利用者の行動は遅れる傾向があり、本来刺激によりスムーズな危機回避行動を促すはずが、かえって行動を制限する結果になる場合がある。
実施形態の音声処理装置は、特定部と、決定部と、変調部と、を備える。特定部は、出力させる音声の強調部分を特定する。決定部は、複数の出力部のうち、強調部分を強調するための音声を出力させる第1出力部および第2出力部を決定する。変調部は、第1出力部に出力させる第1音声の強調部分と第2出力部に出力させる第2音声の強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、第1音声および第2音声の少なくとも一方の強調部分を変調する。
第1の実施形態にかかる音声処理装置のブロック図。 実施形態のスピーカの配置の一例を示す図。 測定結果の一例を示す図。 実施形態のスピーカの配置の他の例を示す図。 実施形態のスピーカの配置の他の例を示す図。 ピッチ変調および位相変調について説明するための図。 位相の差(度)と背景音の音圧(dB)との関係を示す図。 周波数差(Hz)と背景音の音圧(dB)との関係を示す図。 第1の実施形態における音声出力処理のフローチャート。 第2の実施形態にかかる音声処理装置のブロック図。 第2の実施形態における音声出力処理のフローチャート。 第3の実施形態にかかる音声処理装置のブロック図。 第3の実施形態における音声出力処理のフローチャート。 第4の実施形態にかかる音声処理装置のブロック図。 第4の実施形態における音声出力処理のフローチャート。 実施形態のスピーカの配置の一例を示す図。 実施形態のスピーカの配置の一例を示す図。 実施形態のスピーカの配置の一例を示す図。 実施形態のスピーカの配置の一例を示す図。 実施形態にかかる音声処理装置のハードウェア構成図。
以下に添付図面を参照して、この発明にかかる音声処理装置の好適な実施形態を詳細に説明する。
発明者の実験では、複数の音声出力装置(スピーカ、ヘッドフォンなど)のそれぞれから、ピッチおよび位相の少なくとも一方が異なる音声を聴く場合に、音声の物理的な大きさ(ラウドネス)によらず知覚による明瞭さが大きくなり、かつ、注意レベルが上昇することが確認されている。このとき、驚きの感覚はほとんど観測されない。
これまでの考え方では、複数の音声出力装置のそれぞれから、ピッチおよび位相のいずれかが異なる音声を聴く場合には、明瞭さが減少するため聞き取りが悪化するとされてきた。しかし、上記のように発明者の実験では、ピッチおよび位相の少なくとも一方が異なる音声を左右の耳で聴く場合に明瞭さが上昇し、注意レベルが上昇することが確認できた。
これは、聴覚が両耳を使用して音声をより明確に知覚しようとする働きを示しており、これまでにはない新しい発見である。以下の実施形態は、この発見を基にしており、左右の耳に対してピッチおよび位相の少なくとも一方が異なる音声による知覚上昇を利用して注意喚起および危険通知を可能とする。
(第1の実施形態)
第1の実施形態にかかる音声処理装置は、強調部分に対応する音声のピッチおよび位相の少なくとも一方を変調し、変調した音声を出力する。これにより、音声信号の強度を変えることなく、利用者の注意力を増大させ、次動作をスムーズに実行させることが可能となる。
図1は、第1の実施形態にかかる音声処理装置100の構成の一例を示すブロック図である。図1に示すように、音声処理装置100は、記憶部121と、受付部101と、特定部102と、変調部103と、出力制御部104と、スピーカ105−1〜105−n(nは2以上の整数)と、を備えている。
記憶部121は、音声処理装置100で使用される各種データを記憶する。例えば記憶部121は、入力されたテキストデータ、および、テキストデータから特定された強調部分を示すデータなどを記憶する。記憶部121は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
スピーカ105−1〜105−nは、出力制御部104からの指示に従い音声を出力する出力部である。スピーカ105−1〜105−nは、同様の構成を備えるため、区別する必要がない場合は単にスピーカ105という場合がある。以下では、スピーカ105−1(第1出力部)およびスピーカ105−2(第2出力部)の2つのスピーカの組に出力する音声の間でピッチおよび位相の少なくとも一方を変調する場合を例に説明する。2以上の組に対して同様の処理を適用してもよい。
受付部101は、処理対象とする各種データを受け付ける。例えば受付部101は、音声に変換して出力させるテキストデータの入力を受け付ける。
特定部102は、出力させる音声のうち、強調して出力する部分を表す強調部分を特定する。強調部分は、注意喚起および危険通知等を行うためにピッチおよび位相の少なくとも一方を変調して出力する部分に相当する。例えば特定部102は、入力されたテキストデータから強調部分を特定する。入力するテキストデータに事前に強調部分を特定するための情報が付加されている場合は、特定部102は、付加された情報(付加情報)を参照して強調部分を特定することができる。特定部102は、テキストデータと、予め定められた強調部分を示すデータとを照合することにより、強調部分を特定してもよい。特定部102は、付加情報による特定およびデータ照合による特定の両方を実行してもよい。強調部分を示すデータは、記憶部121に記憶されてもよいし、音声処理装置100の外部の記憶装置に記憶されてもよい。
特定部102は、特定した強調部分を強調することを示す情報(付加情報)をテキストデータに付加する符号化処理を実行してもよい。後段の変調部103は、このようにして付加された付加情報を参照して、変調する強調部分を判定することが可能となる。付加情報は、強調部分であることを判定可能であればどのような形式であってもよい。また、特定部102は、符号化処理を実行したテキストデータを記憶部121などの記憶媒体に保存してもよい。これにより、以降の音声出力処理では、事前に付加情報が付加されたテキストデータを利用することが可能となる。
変調部103は、出力させる音声のピッチおよび位相の少なくとも一方である変調対象を変調する。例えば変調部103は、スピーカ105−1に出力させる音声(第1音声)の強調部分と、スピーカ105−2に出力させる音声(第2音声)の強調部分との間で変調対象が異なるように、少なくとも一方の音声の強調部分の変調対象を変調する。
本実施形態では、変調部103は、テキストデータを変換した音声を生成するときに、テキストデータが強調部分であるかを逐次判定し、強調部分に対して変調処理を実行する。すなわち変調部103は、テキストデータを変換して、スピーカ105−1に出力させる音声(第1音声)およびスピーカ105−2に出力させる音声(第2音声)を生成するときに、強調部分のテキストデータに対しては、変調対象が相互に異なるように、少なくとも一方の変調対象を変調した第1音声および第2音声を生成する。
テキストデータを音声に変換する処理(音声合成処理)は、フォルマント音声合成および音声コーパスベースの音声合成などの従来から用いられているあらゆる方法を用いることができる。
位相を変調する場合、変調部103は、スピーカ105−1およびスピーカ105−2のうち一方に入力する信号の極性を反転してもよい。これにより、スピーカ105の一方が他方に対して逆相になり、音声データの位相を変調する場合と同様の機能を実現できる。
変調部103は、処理対象のデータの完全性を確認し、完全性が確認された場合に変調処理を行ってもよい。例えばテキストデータに付加された付加情報が、強調部分の開始を示す情報と、強調部分の終了を示す情報とを指定する形式の場合、変調部103は、開始を示す情報と終了を示す情報とが対応することが確認できた場合に変調処理を行ってもよい。
出力制御部104は、スピーカ105からの音声の出力を制御する。例えば出力制御部104は、変調対象が変調された第1音声をスピーカ105−1に出力させ、第2音声をスピーカ105−2から出力させる。スピーカ105−1およびスピーカ105−2以外のスピーカ105が備えられている場合は、出力制御部104は、各スピーカ105に最適な音声を割り当てて出力させる。各スピーカ105は、出力制御部104からの出力データに基づいて音声を出力する。
出力制御部104は、スピーカ105の位置および特性等のパラメータを用いて、各スピーカ105への出力(アンプ出力)を計算する。これらのパラメータは、例えば記憶部121に記憶される。
例えば、2つのスピーカ105において必要な音圧を揃える場合には、以下のように、各スピーカへのアンプ出力W1、W2を計算する。2つのスピーカの距離をL1、L2とする。L1(L2)は、例えば、スピーカ105−1(スピーカ105−2)と頭部の中心との間の距離である。各スピーカ105から、最も近い耳までの距離を用いてもよい。使用する音声の可聴領域のスピーカ105−1(スピーカ105−2)のゲインをGs1(Gs2)とする。距離が2倍になると6dBの低下となり、3dBの音圧上昇にアンプ出力が2倍必要であるとする。両耳での音圧を揃えるために、出力制御部104は、以下の式が成り立つように、アンプ出力W1、W2を計算して決定する。
−6×(L1/L2)×(1/2)+(2/3)×Gs1×W1=
−6×(L2/L1)×(1/2)+(2/3)×Gs2×W2
受付部101、特定部102、変調部103、および、出力制御部104は、例えば、CPU(Central Processing Unit)などの1以上のプロセッサにプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などの1以上のプロセッサ、すなわちハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
図2は、本実施形態のスピーカ105の配置の一例を示す図である。図2は、利用者205の鉛直上方から下方を観察した場合のスピーカ105の配置の例を示す。スピーカ105−1とスピーカ105−2からは、変調部103により変調処理が実行された音声が流れる。スピーカ105−1は、利用者205の右耳の延長上に置かれている。スピーカ105−2は、スピーカ105−1と右耳とを通過する線を基準として角度をもって置くことができる。
発明者は、曲線203または曲線204に沿ってスピーカ105−2の位置を変化させ、ピッチおよび位相を変調した音声を出力した場合の注意力を測定し、いずれの場合でも注意力の増大を確認した。注意力は、EEG(Electroencephalogram)、NIRS(Near-Infrared Spectroscopy)、および、主観評価などの評価基準を用いて測定した。
図3は、測定結果の一例を示す図である。図3のグラフの横軸は、スピーカ105の配置角度を表す。配置角度は、例えば、スピーカ105−1と利用者205とを結ぶ線と、スピーカ105−2と利用者205とを結ぶ線とのなす角度である。図3に示すように、配置角度が90°から180°のときに注意力の増加が大きくなる。従って、スピーカ105−1とスピーカ105−2は、配置角度が90°から180°となるように配置することが望ましい。なお注意力は検出されるため、配置角度が0°より大きければ90°より小さくてもよい。
音声の全区間のピッチまたは位相を変調してもよいが、この場合、慣れなどのために注意力が減少する可能性がある。そこで変調部103は、付加情報などにより特定された強調部分のみに対して変調を行う。これにより、強調部分に対する注意力をより効果的に高めることが可能となる。
図4は、本実施形態のスピーカ105の配置の他の例を示す図である。図4は、例えば屋外で場外放送を出力するために設置されるスピーカ105の配置の例を示す。図3に示すように、90°から180°の配置角度となるスピーカ105の組を用いることが望ましい。従って、図4の例では、180°の配置角度で配置されるスピーカ105−1、スピーカ105−2の組に対して、音声の変調処理が実行される。
図5は、本実施形態のスピーカ105の配置の他の例を示す図である。図5は、ヘッドフォンとしてスピーカ105−1およびスピーカ105−2を構成した例である。
スピーカ105の配置例は図2、図4および図5に限られるものではない。図3に示したように注意力が得られる配置角度で配置されれば、どのような組み合わせのスピーカであってもよい。例えば、カーナビゲーションのために用いられる複数のスピーカに対して本実施形態を適用してもよい。
次に、ピッチ変調および位相変調について説明する。図6は、ピッチ変調および位相変調について説明するための図である。位相変調は、音声の包絡線604をもとに、元の信号601に対して同一の包絡線に対して単位時間内の波数を変えることなく、ピークの時間位置を変更した信号603を出力する。ピッチ変調は、波数を変更した信号602を出力する。
次に、ピッチまたは位相の変調と、音声の聞き取りやすさとの関係について説明する。図7は、位相の差(度)と背景音の音圧(dB)との関係を示す図である。位相の差は、2つのスピーカ105から出力させる音声間の位相の差(例えばスピーカ105−1から出力させる音声の位相と、スピーカ105−2から出力させる音声の位相との差)を表す。背景音の音圧は、出力された音声を利用者が聞き取ることができる背景音の音圧の最大値(限界音圧)を表す。
背景音は、スピーカ105から出力する音声以外の音である。例えば周囲の雑音、および、音声以外に出力されている音楽等の音が、背景音に相当する。図7の矩形で示す点が、得られた値の平均値を表す。この点の上下の線で示した範囲が得られた値の標準偏差を表す。
図7に示すように、0.5dB以上の背景音が存在する場合であっても、位相の差が60°以上180°以下であれば、利用者はスピーカ105から出力される音声を聞き取ることができる。従って、変調部103は、位相の差が60°以上180°以下となるように変調処理を実行してもよい。変調部103は、より限界音圧の高い90°以上180°以下、または、120°以上180°以下の位相差となるように変調処理を実行してもよい。
図8は、周波数差(Hz)と背景音の音圧(dB)との関係を示す図である。周波数差は、2つのスピーカ105から出力させる音声の周波数の差(例えばスピーカ105−1から出力させる音声の周波数と、スピーカ105−2から出力させる音声の周波数との差)を表す。図8の矩形で示す点が、得られた値の平均値を表す。この点の横に付した数値“A、B”のうち、Aが周波数差を表し、Bが背景音の音圧を表す。
図8に示すように、背景音が存在する場合であっても、周波数差が100Hz(ヘルツ)以上であれば、利用者はスピーカ105から出力される音声を聞き取ることができる。従って、変調部103は、可聴域の範囲内で、周波数差が100Hz以上となるように変調処理を実行してもよい。
次に、このように構成された第1の実施形態にかかる音声処理装置100による音声出力処理について図9を用いて説明する。図9は、第1の実施形態における音声出力処理の一例を示すフローチャートである。
受付部101は、テキストデータの入力を受け付ける(ステップS101)。特定部102は、テキストデータに付加情報が付加されているか否かを判断する(ステップS102)。付加されていない場合(ステップS102:No)、特定部102は、テキストデータから強調部分を特定する(ステップS103)。例えば特定部102は、入力されたテキストデータと、予め定められた強調部分を示すデータとを照合することにより、強調部分を特定する。特定部102は、強調部分を示す付加情報を、対応するテキストデータの強調部分に付加する(ステップS104)。付加情報の付加方法は、変調部103が、強調部分を特定できればどのような方法であってもよい。
付加情報が付加された後(ステップS104)、および、テキストデータに付加情報が付加されている場合(ステップS102:Yes)、変調部103は、テキストデータに対応する音声であって、強調部分のテキストデータに対しては変調対象が相互に異なるように変調対象を変調した音声(第1音声、第2音声)を生成する(ステップS105)。
出力制御部104は、スピーカ105ごとに出力する音声を決定し、決定した音声を出力させる(ステップS106)。各スピーカ105は、出力制御部104の指示に従い音声を出力する。
このように、第1の実施形態にかかる音声処理装置では、テキストデータに対応する音声を生成しながら、強調部分に対応するテキストデータに対しては、音声のピッチおよび位相の少なくとも一方を変調し、変調した音声を出力する。これにより、音声信号の強度を変えることなく、利用者の注意力を増大させることが可能となる。
(第2の実施形態)
第1の実施形態では、テキストデータを逐次音声に変換するときに、強調部分のテキストデータに対して変調処理を行った。第2の実施形態にかかる音声処理装置は、テキストデータに対する音声を生成した後、生成した音声のうち強調部分に相当する音声に対して変調処理を行う。
図10は、第2の実施形態にかかる音声処理装置100−2の構成の一例を示すブロック図である。図10に示すように、音声処理装置100−2は、記憶部121と、受付部101と、特定部102と、変調部103−2と、出力制御部104と、スピーカ105−1〜105−nと、生成部106−2と、を備えている。
第2の実施形態では、変調部103−2の機能、および、生成部106−2を追加したことが第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる音声処理装置100のブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
生成部106−2は、テキストデータに対応する音声を生成する。例えば生成部106−2は、入力されたテキストデータを、スピーカ105−1に出力する音声(第1音声)およびスピーカ105−2に出力する音声(第2音声)に変換する。
変調部103−2は、生成部106−2により生成された音声のうち、強調部分の音声に対して変調処理を行う。例えば変調部103−2は、生成された第1音声の強調部分と生成された第2音声の強調部分との間で変調対象が異なるように、第1音声および第2音声の少なくとも一方の強調部分の変調対象を変調する。
次に、このように構成された第2の実施形態にかかる音声処理装置100−2による音声出力処理について図11を用いて説明する。図11は、第2の実施形態における音声出力処理の一例を示すフローチャートである。
ステップS201からステップS204までは、第1の実施形態にかかる音声処理装置100におけるステップS101からステップS104までと同様の処理なので、その説明を省略する。
本実施形態では、テキストデータが入力されると、生成部106−2による音声生成処理(音声合成処理)が実行される。すなわち、生成部106−2は、テキストデータに対応する音声を生成する(ステップS205)。
音声を生成後(ステップS205)、付加情報が付加された後(ステップS204)、および、テキストデータに付加情報が付加されている場合(ステップS202:Yes)、変調部103−2は、生成された音声から強調部分を抽出する(ステップS206)。例えば変調部103−2は、付加情報を参照してテキストデータのうち強調部分を特定するとともに、テキストデータと生成した音声との対応から、特定したテキストデータの強調部分に対応する音声の強調部分を抽出する。変調部103−2は、抽出した音声の強調部分に対して変調処理を実行する(ステップS207)。なお変調部103−2は、強調部分以外の音声に対しては変調処理を行わない。
ステップS208は、第1の実施形態にかかる音声処理装置100におけるステップS106と同様の処理なので、その説明を省略する。
このように、第2の実施形態にかかる音声処理装置では、テキストデータに対応する音声を生成した後に、音声の強調部分のピッチおよび位相の少なくとも一方を変調し、変調した音声を出力する。これにより、音声信号の強度を変えることなく、利用者の注意力を増大させることが可能となる。
(第3の実施形態)
第1および第2の実施形態では、テキストデータを入力し、テキストデータを音声に変換して出力した。このような実施形態は、例えば、予め定められた緊急災害放送用のテキストデータを出力する場合などに適用できる。一方、利用者が発声した音声を緊急災害放送用に出力する状況も考えられる。第3の実施形態にかかる音声処理装置は、マイクなどの音声入力装置から音声を入力し、入力された音声の強調部分に対して変調処理を行う。
図12は、第3の実施形態にかかる音声処理装置100−3の構成の一例を示すブロック図である。図12に示すように、音声処理装置100−3は、記憶部121と、受付部101−3と、特定部102−3と、変調部103−3と、出力制御部104と、スピーカ105−1〜105−nと、生成部106−2と、を備えている。
第3の実施形態では、受付部101−3、特定部102−3、および、変調部103−3の機能が第2の実施形態と異なっている。その他の構成および機能は、第2の実施形態にかかる音声処理装置100−2のブロック図である図10と同様であるので、同一符号を付し、ここでの説明は省略する。
受付部101−3は、テキストデータのみでなく、マイクなどの音声入力装置から入力される音声を受け付ける。また、受付部101−3は、入力される音声のうち強調する部分の指定を受け付ける。例えば受付部101−3は、利用者による所定のボタンの押下を、押下後に入力される音声が強調する部分であることを示す指定として受け付ける。受付部101−3は、強調部分の開始および終了の指定を、開始から終了までに入力された音声が強調する部分であることを示す指定として受け付けてもよい。指定方法はこれらに限られるものではなく、音声のうち強調する部分を決定可能であればどのような方法であってもよい。以下では、音声のうち強調する部分の指定をトリガーという場合がある。
特定部102−3は、さらに、受け付けられた指定(トリガー)に基づいて、音声の強調部分を特定する機能を有する。
変調部103−3は、生成部106−2により生成された音声、または、入力された音声のうち、強調部分の音声に対して変調処理を行う。
次に、このように構成された第3の実施形態にかかる音声処理装置100−3による音声出力処理について図13を用いて説明する。図13は、第3の実施形態における音声出力処理の一例を示すフローチャートである。
受付部101−3は、音声入力優先であるか否かを判定する(ステップS301)。音声入力優先とは、テキストデータではなく、音声を入力して出力することを示す指定である。例えば、音声入力優先を指定するためのボタンが押下された場合に、受付部101−3は、音声入力優先であると判定する。
音声入力優先であるかの判定方法はこれに限られるものではない。例えば、音声入力優先であるかを示す事前に保存された情報を参照して判定してもよい。また、テキストデータは入力せず、音声入力のみとする場合は、音声入力優先の指定や判定(ステップS301)を実行しなくてもよい。この場合、後述するテキストデータに基づく付加処理(ステップS306)も実行しなくてもよい。
音声入力優先の場合(ステップS301:Yes)、受付部101−3は、音声の入力を受け付ける(ステップS302)。特定部102−3は、音声の強調する部分の指定(トリガー)が入力されているか否かを判定する(ステップS303)。
トリガーが入力されていない場合(ステップS303:No)、特定部102−3は、音声の強調部分を特定する(ステップS304)。例えば特定部102−3は、入力されている音声と、予め登録された音声データとを照合し、登録された音声データと一致または類似する音声を強調部分として特定する。特定部102−3は、入力された音声を音声認識して得られるテキストデータと、予め定められた強調部分を示すデータとを照合することにより、強調部分を特定してもよい。
ステップS303でトリガーが入力されていると判定した場合(ステップS303:Yes)、および、ステップS304で強調部分を特定した後、特定部102−3は、入力されている音声のデータに対して、強調部分を示す付加情報を付加する(ステップS305)。付加情報の付加方法は、音声が強調部分であることを判定できればどのような方法であってもよい。
ステップS301で音声入力優先でないと判定された場合(ステップS301:No)、テキストに基づく付加処理が実行される(ステップS306)。この処理は、例えば図11のステップS201からステップS205までと同様の処理で実現できる。
変調部103−3は、生成された音声から強調部分を抽出する(ステップS307)。例えば変調部103−3は、付加情報を参照して音声の強調部分を抽出する。ステップS306を実行した場合は、変調部103−3は、図11のステップS206と同様の処理により強調部分を抽出する。
ステップS308からステップS309までは、第2の実施形態にかかる音声処理装置100−2におけるステップS207からステップS208までと同様の処理なので、その説明を省略する。
このように、第3の実施形態にかかる音声処理装置では、入力された音声の強調部分をトリガーなどにより特定し、音声の強調部分のピッチおよび位相の少なくとも一方を変調し、変調した音声を出力する。これにより、音声信号の強度を変えることなく、利用者の注意力を増大させることが可能となる。
(第4の実施形態)
上記実施形態では、1組のスピーカ105(スピーカ105−1、スピーカ105−2)に出力する音声を変調する場合を例として説明した。第4の実施形態の音声処理装置は、複数のスピーカ105の中から、音声を変調させるスピーカ105の組を決定し、決定した組のスピーカ105に出力する音声を変調する。
図14は、第4の実施形態にかかる音声処理装置100−4の構成の一例を示すブロック図である。図14に示すように、音声処理装置100−4は、記憶部121と、受付部101と、特定部102−4と、変調部103−4と、出力制御部104−4と、スピーカ105−1〜105−nと、決定部107−4と、を備えている。記憶部121、受付部101、および、スピーカ105−1〜105−nは、第1の実施形態にかかる音声処理装置100のブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
スピーカ105は、音声処理装置100−4の外部に備えられてもよい。後述するようにスピーカ105が屋外の公共空間に設置され、音声処理装置100−4とネットワークなどにより接続されてもよい。この場合、音声処理装置100−4は、例えばネットワークに接続されるサーバ装置として構成されてもよい。ネットワークは、無線ネットワークでもよいし、有線ネットワークでもよい。
なお以下では主に第1の実施形態を変更して第4の実施形態を構成する場合を例に説明するが、第2および第3の実施形態に対しても同様の変更を適用できる。
決定部107−4は、複数のスピーカ105(出力部)のうち、強調部分を強調するための音声を出力させる複数のスピーカ105を決定する。例えば決定部107−4は、2つのスピーカ105(第1出力部、第2出力部)を含む組を決定する。決定部107−4は、複数の組を決定してもよい。1つの組に3以上のスピーカ105が含まれてもよい。複数の組に含まれるスピーカ105は一部が重複してもよい。スピーカ105の組の決定方法の具体例は後述する。以下では、強調部分を強調するための音声を出力させるスピーカ105を対象スピーカという場合がある。
例えば決定部107−4は、スピーカ105−1〜スピーカ105−nのうち、利用者により指定されたスピーカ105を、対象スピーカとして決定する。スピーカ105の決定方法はこれに限られるものではない。スピーカ105−1〜スピーカ105−nから対象スピーカを決定できる方法であれば、どのような方法であってもよい。例えば、出力する音声に対して予め定められたスピーカ105を対象スピーカとして決定する方法でもよい。季節、日時、時刻、および、スピーカ105の周辺の状況などの各種情報に応じて対象スピーカを決定する方法でもよい。周辺の状況は、例えば、物体(人、車両、飛行体など)の有無、物体の数、および、物体の動作状況を含む。
特定部102−4は、複数の組に音声を出力する場合に、組ごとに異なる強調部分を特定する機能をさらに備える点が、第1の実施形態の特定部102と異なっている。
変調部103−4は、複数の組に音声を出力する場合に、組ごとに異なる強調部分を変調する機能をさらに備える点が、第1の実施形態の変調部103と異なっている。
出力制御部104−4は、複数のスピーカ105のうち、音声を変調して出力しないスピーカ105に対しては強調部分を強調しない音声を出力するように制御する機能をさらに備える点が、第1の実施形態の出力制御部104と異なっている。
次に、このように構成された第4の実施形態にかかる音声処理装置100−4による音声出力処理について図15を用いて説明する。図15は、第4の実施形態における音声出力処理の一例を示すフローチャートである。
決定部107−4は、複数のスピーカ105のうち、強調部分を強調するための音声を出力させる複数のスピーカ105(対象スピーカ)を決定する(ステップS401)。決定部107−4は、複数のスピーカ105のうち、強調のための変調を行わない音声(通常の音声)を出力させるスピーカ105をさらに決定してもよい。
その後、決定されたスピーカ105に対して、音声が出力される(ステップS402)。ステップS402の処理は、例えば、第1の実施形態の図9と同様の処理で実現できる。本実施形態の方法を第2または第3の実施形態に対して適用する場合は、それぞれ図11または図13と同様の処理がステップS402で実行される。
ステップS401のスピーカ105を決定する処理は、ステップS402の中で実行されてもよい。例えば、決定部107−4は、テキストが受け付けられたときに(図9ではステップS101)、受け付けられたテキストに応じて定められたスピーカ105を決定してもよい。決定部107−4は、強調部分が特定されたときに(図9ではステップS103)、特定された強調部分に応じて定められたスピーカ105を決定してもよい。
以下、対象スピーカの決定方法の具体例について図16〜図19を用いて説明する。図16は、鉄道のプラットフォームに設置されるスピーカ105の配置の例、および、決定されるスピーカ105の例を示す。
図16に示すように、2つのプラットフォーム1601、1602に、それぞれ複数のスピーカ105が設置される。図16は、2つのプラットフォーム1601、1602の上部から観察した場合のスピーカ105の配置の例である。プラットフォーム1601には、スピーカ105−1〜スピーカ105−12が設置される。プラットフォーム1602には、スピーカ105−13〜スピーカ105−24が設置される。
決定部107−4は、これらのスピーカ105のうち、例えばプラットフォーム1601の端部の領域に設置されたスピーカ105の組を対象スピーカとして決定する。このように、決定部107−4は、各領域に応じて定められるスピーカ105を対象スピーカとして決定してもよい。例えば、領域1611が、プラットフォーム1601の端部に近く、かつ、プラットフォーム1601の車両が進入する側の領域であるとする。このような領域1611に対して強調した音声を出力させる場合であれば、決定部107−4は、領域1611の方向に音声を出力するスピーカ105−2、105−5の組を、対象スピーカとして決定する。これにより、例えば、車両が進入することを適切に知らせることが可能となる。
この場合、プラットフォーム1601の中央部の領域に設置されたスピーカ105は、音声を強調せずに出力するスピーカ105として決定されてもよい。決定部107−4は、プラットフォーム1601の中央部の領域に設置されたスピーカ105を対象スピーカとし、他の領域に設置されたスピーカ105を、音声を強調せずに出力するスピーカ105として決定してもよい。
決定部107−4は、プラットフォーム1601の末端により近い領域1612に音声を出力するスピーカ105−1、105−3の組を対象スピーカとして決定してもよい。対象スピーカとするスピーカ105は、同一のプラットフォームに設置される必要はない。例えば決定部107−4は、プラットフォーム1601、1602の間の領域1613に音声を出力するスピーカ105−7、105−14の組を対象スピーカとして決定してもよい。音声の出力範囲が重なっていれば、例えば、スピーカ105−5、105−6が対象スピーカとして決定されてもよい。これにより、スピーカ105−5、105−6の直下を含む領域に対しても、強調した音声を出力可能となる。
領域1614は、階段1603の近くの領域である。決定部107−4は、このような領域1614に音声を出力するスピーカ105−10、105−12の組を対象スピーカとして決定してもよい。これにより、例えば、階段1603などの障害物により混雑していることの注意を促す音声を適切に出力することが可能となる。
決定部107−4は、強調した音声を出力する対象(人など)に対して他のスピーカ105より近いスピーカ105を対象スピーカとして決定してもよい。例えば決定部107−4は、対象者に近い順に2つのスピーカ105を対象スピーカとして決定してもよい。決定部107−4は、対象者が存在する領域を例えばカメラを用いて判定し、判定した領域に対して音声を出力する2つのスピーカ105を対象スピーカとして決定してもよい。
すべてのスピーカ105から強調した音声を出力する場合は、決定部107−4は、すべてのスピーカ105を対象スピーカとして決定してもよい。
例えば隣接する複数の領域のスピーカ105が対象スピーカとして決定される場合、変調部103−4は、各領域に対して強調した音声が出力されるように、各対象スピーカに出力させる音声を変調すればよい。例えば、領域1611と、スピーカ105−5およびスピーカ105−6の直下を含む領域と、に対して強調した音声を出力する場合を考える。この場合、変調部103−4は、例えば、スピーカ105−2およびスピーカ105−6に出力させる音声の変調対象を変調し、スピーカ105−5に出力させる音声の変調対象は変調しない。
なお本実施形態では、例えば上りの車両か下りの車両かで男性の音声および女性の音声を分ける、すなわち、出力する音声自体を変更する必要はない。変調部103−4は、同じ音声に対して変調処理を実行することにより、強調した音声を出力することができる。
スピーカ105は指向性があるほうがよりよいが、無指向性であってもよい。図17は、鉄道のプラットフォームに設置されるスピーカ105の配置の他の例を示す。図17に示すように、指向性のあるスピーカ105−1、105−3と、指向性のないスピーカ105−2とを組み合わせてもよい。
図18は、公共空間に設置されるスピーカ105の配置の例、および、決定されるスピーカ105の例を示す。公共空間は、例えば、防災放送を出力する屋外スピーカが設置された空間、公園、および、グラウンドなどである。
図18では、公共空間に5つのスピーカ105−1〜105−5が設置された例が示されている。図18は、各スピーカ105のいずれに近いかによって領域を分けたボロノイ図としても解釈できる。
例えばボロノイ図を構成する1辺の中間付近の領域を、強調した音声を出力する領域としてもよい。決定部107−4は、例えば、この領域に対応する辺によって分けられるボロノイ図内の2つの領域に含まれる2つのスピーカ105を、対象スピーカとして決定する。例えば図18の領域1711内の対象に対して強調した音声を出力する場合、決定部107−4は、スピーカ105−1とスピーカ105−2とを対象スピーカとして決定する。決定部107−4は、対象(人など)が含まれる領域のスピーカ105と、対象が含まれる領域外のスピーカ105のうち最も近いスピーカ105とを、対象スピーカとして決定してもよい。決定部107−4は、ボロノイ図により分けた領域に関わらず、対象に近い順に2つのスピーカ105を対象スピーカとして決定してもよい。
隣接する複数の領域に強調した音声を出力する場合、決定部107−4は、すべての領域に対して強調した音声を出力できるように対象スピーカを決定する。例えば図18の全領域に対して強調した音声を出力する場合、決定部107−4は、すべてのスピーカ105−1〜105−5を対象スピーカとして決定する。この場合、変調部103−4は、各領域に対して強調した音声が出力されるように、各対象スピーカに出力させる音声を変調すればよい。
例えば、変調部103−4は、スピーカ105−1とスピーカ105−2の組、スピーカ105−2とスピーカ105−4の組、スピーカ105−4とスピーカ105−5の組、スピーカ105−5とスピーカ105−3の組、および、スピーカ105−3とスピーカ105−1の組の5つの組それぞれについて、組に含まれるスピーカ105間で変調対象が異なるように変調処理を行う。
なお、例えばスピーカ105−1、105−4、および、105−3に出力する音声を同じように変調し、スピーカ105−2および105−5に出力する音声を変調しないように構成したとする。この場合、上記5組のうち最後の組については変調対象が異なるように変調できない。このような場合は、変調部103−4は、例えば、各組に対する変調の度合い(変調強度)を異ならせるように変調処理を行えばよい。例えば変調部103−4は、各組の変調強度を段階的に変更すれば、5組すべてについて変調対象が異なるように変調処理を実行できる。
スピーカ105の一部を拡声器などの出力部に置き換え、拡声器とスピーカ105との間で変調対象を変調してもよい。例えば音声処理装置100−4は、拡声器とスピーカ105との距離を予め測定しておく。距離は、レーザ、ドップラー効果、および、GPSを利用した方法などの任意の方法で測定できる。決定部107−4は、測定された距離やスピーカ105の配置などを参照し、拡声器と組にするスピーカ105を決定する。変調部103−4は、拡声器に入力される音声に対して、拡声器に出力させる音声の強調部分と、スピーカ105に出力させる音声の強調部分との間で変調対象が異なるように、少なくとも一方の音声の強調部分の変調対象を変調する。
図19は、音声出力アプリケーションなどにより音声を出力する場合のスピーカ105の配置の例、および、決定されるスピーカ105の例を示す。音声出力アプリケーションは、例えば、書籍(テキストデータ)の内容を読み上げて音声により出力する朗読アプリケーションを含む。適用可能なアプリケーションはこれらに限られるものではない。
音声が出力される全体の領域は、スピーカ105の組により4つの領域に分けられる。図19では、縦および横の破線により分けられる4つの領域が該当する。このように分けられる領域ごとに、異なる部分を強調するように構成してもよい。例えば特定部102−4は、領域1811に出力する音声の強調部分(第1強調部分)と、領域1812に出力する音声の強調部分(第2強調部分)を特定する。そして決定部107−4は、第1強調部分を強調するための音声を出力させる対象スピーカ(第1出力部、第2出力部)を決定し、第2強調部分を強調するための音声を出力させる対象スピーカ(第3出力部、第4出力部)を決定する。
例えば、特定部102−4は、記憶部121などに記憶された、強調した音声を出力する領域、および、強調部分を定めた情報を参照して、強調部分を出力する領域および強調部分を特定する。また決定部107−4は、特定された領域に対して定められたスピーカ105を対象スピーカとして決定する。音声出力アプリケーションが、音声出力中に領域および強調部分を指定するための機能を備え、特定部102−4が、音声出力アプリケーションを介して指定された領域および強調部分を特定してもよい。
このように構成することにより、例えば、領域ごとに、物語の異なる登場人物の音声を強調して出力することが可能となる。この結果、例えば物語の臨場感をより増大させることが可能となる。特定部102−4は、音声出力アプリケーションを実行する場所および音声の出力回数の少なくとも一方に応じて異なる領域および異なる強調部分を特定してもよい。これにより、例えば同じ書籍の内容であってもユーザに飽きさせないように音声を出力することが可能となる。
このように、第4の実施形態にかかる音声処理装置では、複数のスピーカから、強調部分を強調した音声を出力するスピーカが決定され、決定されたスピーカに出力する音声が変調される。これにより、例えば所望の場所に対して強調する音声を適切に出力することが可能となる。例えば、特定の場所に存在するユーザに対して効率的に注意を喚起させることが可能となる。
以上説明したとおり、第1から第4の実施形態によれば、音声のピッチおよび位相の少なくとも一方を変調して出力することにより、音声信号の強度を変えることなく、利用者の注意力を増大させることが可能となる。
次に、第1から第4の実施形態にかかる音声処理装置のハードウェア構成について図20を用いて説明する。図20は、第1から第4の実施形態にかかる音声処理装置のハードウェア構成例を示す説明図である。
第1から第4の実施形態にかかる音声処理装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
第1から第4の実施形態における音声処理装置は、コンピュータまたは組み込みシステムであり、パソコンおよびマイコン等の1つからなる装置、または、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、本実施形態におけるコンピュータは、パソコンに限らず、情報処理機器に含まれる演算処理装置およびマイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器または装置を総称している。
第1から第4の実施形態にかかる音声処理装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
第1から第4の実施形態にかかる音声処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)、USBフラッシュメモリー、SDカード、EEPROM(Electrically Erasable Programmable Read-Only Memory)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、第1から第4の実施形態にかかる音声処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第1から第4の実施形態にかかる音声処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第1から第4の実施形態にかかる音声処理装置で実行されるプログラムは、コンピュータを上述した音声処理装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100、100−2、100−3、100−4 音声処理装置
101、101−3 受付部
102、102−3、102−4 特定部
103、103−2、103−3、103−4 変調部
104、104−4 出力制御部
105 スピーカ
106−2 生成部
107−4 決定部
121 記憶部

Claims (12)

  1. 出力させる音声の第1強調部分と第2強調部分を特定する特定部と、
    複数の出力部のうち、前記第1強調部分を強調するための音声を出力させる第1出力部および第2出力部を決定し、前記第2強調部分を強調するための音声を出力させる第3出力部および第4出力部を決定する決定部と、
    前記第1出力部に出力させる第1音声の前記第1強調部分と前記第2出力部に出力させる第2音声の前記第1強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分を変調し、前記第3出力部に出力させる第3音声の前記第2強調部分と前記第4出力部に出力させる第4音声の前記第2強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第3音声および前記第4音声の少なくとも一方の前記第2強調部分を変調する変調部と、
    を備える音声処理装置。
  2. 前記決定部は、複数の前記出力部のうち、前記第1強調部分を強調した音声を出力する対象に対して、他の出力部よりも近い出力部を前記第1出力部および前記第2出力部として決定する、
    請求項1に記載の音声処理装置。
  3. 前記決定部は、複数の前記出力部のうち、前記第1強調部分を強調した音声を出力する領域に応じて定められる出力部を前記第1出力部および前記第2出力部として決定する、
    請求項1に記載の音声処理装置。
  4. 前記第1出力部に前記第1音声を出力し、前記第2出力部に前記第2音声を出力し、前記第3出力部に前記第3音声を出力し、前記第4出力部に前記第4音声を出力し、複数の前記出力部のうち、前記第1強調部分および前記第2強調部分を強調して出力しない出力部に対しては前記第1強調部分および前記第2強調部分を強調しない音声を出力するように制御する出力制御部をさらに備える、
    請求項1に記載の音声処理装置。
  5. 前記特定部は、入力されたテキストデータから前記第1強調部分を特定し、
    前記変調部は、前記テキストデータに対応する前記第1音声および前記第2音声であって、前記第1強調部分の前記ピッチおよび位相の少なくとも一方が異なるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分を変調した前記第1音声および前記第2音声を生成する、
    請求項1に記載の音声処理装置。
  6. 入力されたテキストデータに対応する前記第1音声および前記第2音声を生成する生成部をさらに備え、
    前記特定部は、前記テキストデータから前記第1強調部分を特定し、
    前記変調部は、生成された前記第1音声の前記第1強調部分と生成された前記第2音声の前記第1強調部分との間で、前記ピッチおよび位相の少なくとも一方が異なるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分を変調する、
    請求項1に記載の音声処理装置。
  7. 入力される音声のうち強調する部分の指定を受け付ける受付部をさらに備え、
    前記特定部は、前記指定に基づいて前記第1強調部分を特定する、
    請求項1に記載の音声処理装置。
  8. 前記変調部は、前記第1音声の前記第1強調部分の位相と、前記第2音声の前記第1強調部分の位相との差が、60°以上180°以下となるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分の位相を変調する、
    請求項1に記載の音声処理装置。
  9. 前記変調部は、前記第1音声の前記第1強調部分の周波数と、前記第2音声の前記第1強調部分の周波数との差が、100ヘルツ以上となるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分のピッチを変調する、
    請求項1に記載の音声処理装置。
  10. 前記変調部は、前記第1出力部または前記第2出力部に入力する信号の極性を反転することにより、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分の位相を変調する、
    請求項1に記載の音声処理装置。
  11. 出力させる音声の第1強調部分と第2強調部分を特定する特定ステップと、
    複数の出力部のうち、前記第1強調部分を強調するための音声を出力させる第1出力部および第2出力部を決定し、前記第2強調部分を強調するための音声を出力させる第3出力部および第4出力部を決定する決定ステップと、
    前記第1出力部に出力させる第1音声の前記第1強調部分と前記第2出力部に出力させる第2音声の前記第1強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分を変調し、前記第3出力部に出力させる第3音声の前記第2強調部分と前記第4出力部に出力させる第4音声の前記第2強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第3音声および前記第4音声の少なくとも一方の前記第2強調部分を変調する変調ステップと、
    を含む音声処理方法。
  12. コンピュータを、
    出力させる音声の第1強調部分と第2強調部分を特定する特定部と、
    複数の出力部のうち、前記第1強調部分を強調するための音声を出力させる第1出力部および第2出力部を決定し、前記第2強調部分を強調するための音声を出力させる第3出力部および第4出力部を決定する決定部と、
    前記第1出力部に出力させる第1音声の前記第1強調部分と前記第2出力部に出力させる第2音声の前記第1強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第1音声および前記第2音声の少なくとも一方の前記第1強調部分を変調し、前記第3出力部に出力させる第3音声の前記第2強調部分と前記第4出力部に出力させる第4音声の前記第2強調部分との間で、ピッチおよび位相の少なくとも一方が異なるように、前記第3音声および前記第4音声の少なくとも一方の前記第2強調部分を変調する変調部と、
    として機能させるためのプログラム。
JP2017056290A 2017-03-22 2017-03-22 音声処理装置、音声処理方法およびプログラム Active JP6646001B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017056290A JP6646001B2 (ja) 2017-03-22 2017-03-22 音声処理装置、音声処理方法およびプログラム
US15/688,617 US10803852B2 (en) 2017-03-22 2017-08-28 Speech processing apparatus, speech processing method, and computer program product
CN201710761063.2A CN108630213B (zh) 2017-03-22 2017-08-30 声音处理装置、声音处理方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017056290A JP6646001B2 (ja) 2017-03-22 2017-03-22 音声処理装置、音声処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018159772A JP2018159772A (ja) 2018-10-11
JP6646001B2 true JP6646001B2 (ja) 2020-02-14

Family

ID=63583580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017056290A Active JP6646001B2 (ja) 2017-03-22 2017-03-22 音声処理装置、音声処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10803852B2 (ja)
JP (1) JP6646001B2 (ja)
CN (1) CN108630213B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195542B2 (en) 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
US20200092339A1 (en) * 2018-09-17 2020-03-19 International Business Machines Corporation Providing device control instructions for increasing conference participant interest based on contextual data analysis

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113449A (en) * 1982-08-16 1992-05-12 Texas Instruments Incorporated Method and apparatus for altering voice characteristics of synthesized speech
JP2740510B2 (ja) * 1988-02-09 1998-04-15 株式会社リコー テキスト音声合成方式
JPH064090A (ja) * 1992-06-17 1994-01-14 Nippon Telegr & Teleph Corp <Ntt> テキスト音声変換方法および装置
US5717818A (en) * 1992-08-18 1998-02-10 Hitachi, Ltd. Audio signal storing apparatus having a function for converting speech speed
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
KR0129829B1 (ko) * 1994-09-28 1998-04-17 오영환 음향 변속 재생장치
JPH10258688A (ja) * 1997-03-19 1998-09-29 Furukawa Electric Co Ltd:The 車載用音声出力システム
JP3619946B2 (ja) * 1997-03-19 2005-02-16 富士通株式会社 話速変換装置、話速変換方法及び記録媒体
KR100269255B1 (ko) * 1997-11-28 2000-10-16 정선종 유성음 신호에서 성문 닫힘 구간 신호의 가변에의한 피치 수정방법
JP3502247B2 (ja) * 1997-10-28 2004-03-02 ヤマハ株式会社 音声変換装置
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
US6385581B1 (en) * 1999-05-05 2002-05-07 Stanley W. Stephenson System and method of providing emotive background sound to text
US6859778B1 (en) * 2000-03-16 2005-02-22 International Business Machines Corporation Method and apparatus for translating natural-language speech using multiple output phrases
US6556972B1 (en) * 2000-03-16 2003-04-29 International Business Machines Corporation Method and apparatus for time-synchronized translation and synthesis of natural-language speech
AU2002232928A1 (en) * 2000-11-03 2002-05-15 Zoesis, Inc. Interactive character system
JP2002149187A (ja) 2000-11-07 2002-05-24 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
US6845358B2 (en) * 2001-01-05 2005-01-18 Matsushita Electric Industrial Co., Ltd. Prosody template matching for text-to-speech systems
KR20030006308A (ko) 2001-07-12 2003-01-23 엘지전자 주식회사 이동통신 단말기의 음성 변조 장치 및 방법
US6941264B2 (en) 2001-08-16 2005-09-06 Sony Electronics Inc. Retraining and updating speech models for speech recognition
JP2003131700A (ja) * 2001-10-23 2003-05-09 Matsushita Electric Ind Co Ltd 音声情報出力装置及びその方法
GB2381638B (en) 2001-11-03 2004-02-04 Dremedia Ltd Identifying audio characteristics
US7243060B2 (en) * 2002-04-02 2007-07-10 University Of Washington Single channel sound separation
US7650348B2 (en) * 2002-07-23 2010-01-19 Research In Motion Limited Systems and methods of building and using custom word lists
US7151826B2 (en) 2002-09-27 2006-12-19 Rockwell Electronics Commerce Technologies L.L.C. Third party coaching for agents in a communication system
JP4282317B2 (ja) * 2002-12-05 2009-06-17 アルパイン株式会社 音声通信装置
JP4038211B2 (ja) * 2003-01-20 2008-01-23 富士通株式会社 音声合成装置,音声合成方法および音声合成システム
JP4407305B2 (ja) * 2003-02-17 2010-02-03 株式会社ケンウッド ピッチ波形信号分割装置、音声信号圧縮装置、音声合成装置、ピッチ波形信号分割方法、音声信号圧縮方法、音声合成方法、記録媒体及びプログラム
JP4786183B2 (ja) * 2003-05-01 2011-10-05 富士通株式会社 音声復号化装置、音声復号化方法、プログラム、記録媒体
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
EP1720374B1 (en) * 2004-02-10 2011-10-12 Honda Motor Co., Ltd. Mobile body with superdirectivity speaker
JP2005306231A (ja) 2004-04-22 2005-11-04 Nissan Motor Co Ltd 運転者知覚制御装置
KR100590553B1 (ko) 2004-05-21 2006-06-19 삼성전자주식회사 대화체 운율구조 생성방법 및 장치와 이를 적용한음성합성시스템
EP1681670A1 (en) * 2005-01-14 2006-07-19 Dialog Semiconductor GmbH Voice activation
GB2422755A (en) * 2005-01-27 2006-08-02 Synchro Arts Ltd Audio signal processing
US20060206320A1 (en) * 2005-03-14 2006-09-14 Li Qi P Apparatus and method for noise reduction and speech enhancement with microphones and loudspeakers
JP2006319535A (ja) * 2005-05-11 2006-11-24 Yamaha Corp 音響再生装置
JP2007019980A (ja) 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd オーディオ静音化装置
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
EP1818912A1 (en) * 2006-02-08 2007-08-15 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO System for giving intelligibility feedback to a speaker
US20070202481A1 (en) 2006-02-27 2007-08-30 Andrew Smith Lewis Method and apparatus for flexibly and adaptively obtaining personalized study content, and study device including the same
JP4769611B2 (ja) 2006-03-23 2011-09-07 シャープ株式会社 音声データ再生装置および音声データ再生装置のデータ表示方法
TWI294618B (en) * 2006-03-30 2008-03-11 Ind Tech Res Inst Method for speech quality degradation estimation and method for degradation measures calculation and apparatuses thereof
US7996788B2 (en) * 2006-05-18 2011-08-09 International Apparel Group, Llc System and method for navigating a dynamic collection of information
EP1860918B1 (en) * 2006-05-23 2017-07-05 Harman Becker Automotive Systems GmbH Communication system and method for controlling the output of an audio signal
US20070299657A1 (en) * 2006-06-21 2007-12-27 Kang George S Method and apparatus for monitoring multichannel voice transmissions
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US8898062B2 (en) * 2007-02-19 2014-11-25 Panasonic Intellectual Property Corporation Of America Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program
JP4213755B2 (ja) * 2007-03-28 2009-01-21 株式会社東芝 音声翻訳装置、方法およびプログラム
US7983915B2 (en) 2007-04-30 2011-07-19 Sonic Foundry, Inc. Audio content search engine
US20080270344A1 (en) 2007-04-30 2008-10-30 Yurick Steven J Rich media content search engine
US8175879B2 (en) * 2007-08-08 2012-05-08 Lessac Technologies, Inc. System-effected text annotation for expressive prosody in speech synthesis and recognition
JP2009047957A (ja) * 2007-08-21 2009-03-05 Toshiba Corp ピッチパターン生成方法及びその装置
CN101399044B (zh) * 2007-09-29 2013-09-04 纽奥斯通讯有限公司 语音转换方法和系统
CN101627427B (zh) * 2007-10-01 2012-07-04 松下电器产业株式会社 声音强调装置及声音强调方法
US8046219B2 (en) * 2007-10-18 2011-10-25 Motorola Mobility, Inc. Robust two microphone noise suppression system
JP2009139592A (ja) * 2007-12-05 2009-06-25 Sony Corp 音声処理装置、音声処理システム及び音声処理プログラム
JP4968147B2 (ja) * 2008-03-31 2012-07-04 富士通株式会社 通信端末、通信端末の音声出力調整方法
WO2010008722A1 (en) 2008-06-23 2010-01-21 John Nicholas Gross Captcha system optimized for distinguishing between humans and machines
JP5322208B2 (ja) 2008-06-30 2013-10-23 株式会社東芝 音声認識装置及びその方法
US20100066742A1 (en) * 2008-09-18 2010-03-18 Microsoft Corporation Stylized prosody for speech synthesis-based applications
JP2010175717A (ja) * 2009-01-28 2010-08-12 Mitsubishi Electric Corp 音声合成装置
WO2011004579A1 (ja) * 2009-07-06 2011-01-13 パナソニック株式会社 声質変換装置、音高変換装置および声質変換方法
KR101597289B1 (ko) 2009-07-31 2016-03-08 삼성전자주식회사 동적 화면에 따라 음성을 인식하는 장치 및 방법
EP2486567A1 (en) * 2009-10-09 2012-08-15 Dolby Laboratories Licensing Corporation Automatic generation of metadata for audio dominance effects
JP2011101110A (ja) * 2009-11-04 2011-05-19 Ricoh Co Ltd 撮像装置
US8473512B2 (en) 2009-11-06 2013-06-25 Waldeck Technology, Llc Dynamic profile slice
JP2011197511A (ja) * 2010-03-23 2011-10-06 Seiko Epson Corp 音声出力装置、音声出力装置の制御方法、印刷装置および装着ボード
US20110313762A1 (en) * 2010-06-20 2011-12-22 International Business Machines Corporation Speech output with confidence indication
US8918197B2 (en) * 2012-06-13 2014-12-23 Avraham Suhami Audio communication networks
US8694307B2 (en) 2011-05-19 2014-04-08 Nice Systems Ltd. Method and apparatus for temporal speech scoring
WO2013019562A2 (en) * 2011-07-29 2013-02-07 Dts Llc. Adaptive voice intelligibility processor
US9031259B2 (en) * 2011-09-15 2015-05-12 JVC Kenwood Corporation Noise reduction apparatus, audio input apparatus, wireless communication apparatus, and noise reduction method
US8798995B1 (en) * 2011-09-23 2014-08-05 Amazon Technologies, Inc. Key word determinations from voice data
KR20130065248A (ko) * 2011-12-09 2013-06-19 삼성전자주식회사 음성 변조 장치 및 이를 이용한 음성 변조 방법
JP5665780B2 (ja) * 2012-02-21 2015-02-04 株式会社東芝 音声合成装置、方法およびプログラム
JP6003510B2 (ja) * 2012-10-11 2016-10-05 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
KR101428245B1 (ko) * 2012-12-05 2014-08-07 현대자동차주식회사 음성 인식 장치 및 방법
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
EP2947650A1 (en) * 2013-01-18 2015-11-25 Kabushiki Kaisha Toshiba Speech synthesizer, electronic watermark information detection device, speech synthesis method, electronic watermark information detection method, speech synthesis program, and electronic watermark information detection program
JP2014145838A (ja) * 2013-01-28 2014-08-14 Honda Motor Co Ltd 音響処理装置及び音響処理方法
WO2014125736A1 (ja) * 2013-02-14 2014-08-21 ソニー株式会社 音声認識装置、および音声認識方法、並びにプログラム
US9897682B2 (en) * 2013-03-29 2018-02-20 Qualcomm Incorporated Magnetic synchronization for a positioning system
JP6077957B2 (ja) * 2013-07-08 2017-02-08 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
US10311038B2 (en) * 2013-08-29 2019-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Methods, computer program, computer program product and indexing systems for indexing or updating index
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9454976B2 (en) * 2013-10-14 2016-09-27 Zanavox Efficient discrimination of voiced and unvoiced sounds
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US9711135B2 (en) * 2013-12-17 2017-07-18 Sony Corporation Electronic devices and methods for compensating for environmental noise in text-to-speech applications
US20180285312A1 (en) * 2014-03-04 2018-10-04 Google Inc. Methods, systems, and media for providing content based on a level of conversation and shared interests during a social event
US9706299B2 (en) * 2014-03-13 2017-07-11 GM Global Technology Operations LLC Processing of audio received at a plurality of microphones within a vehicle
US9865247B2 (en) * 2014-07-03 2018-01-09 Google Inc. Devices and methods for use of phase information in speech synthesis systems
US9196432B1 (en) * 2014-09-24 2015-11-24 James Thomas O'Keeffe Smart electrical switch with audio capability
JP2016080894A (ja) 2014-10-17 2016-05-16 シャープ株式会社 電子機器、家電、制御システム、制御方法、および制御プログラム
US10009676B2 (en) * 2014-11-03 2018-06-26 Storz Endoskop Produktions Gmbh Voice control system with multiple microphone arrays
US9972315B2 (en) * 2015-01-14 2018-05-15 Honda Motor Co., Ltd. Speech processing device, speech processing method, and speech processing system
JP6510241B2 (ja) * 2015-01-16 2019-05-08 矢崎総業株式会社 警報装置
JP6464411B6 (ja) * 2015-02-25 2019-03-13 Dynabook株式会社 電子機器、方法及びプログラム
WO2016151721A1 (ja) * 2015-03-23 2016-09-29 パイオニア株式会社 管理装置及び音響調整管理方法、並びに、音響装置及び楽曲再生方法
US9685169B2 (en) * 2015-04-15 2017-06-20 International Business Machines Corporation Coherent pitch and intensity modification of speech signals
US9852743B2 (en) * 2015-11-20 2017-12-26 Adobe Systems Incorporated Automatic emphasis of spoken words
US9961435B1 (en) * 2015-12-10 2018-05-01 Amazon Technologies, Inc. Smart earphones
CN105632508B (zh) * 2016-01-27 2020-05-12 Oppo广东移动通信有限公司 音频处理方法及音频处理装置
US20170243582A1 (en) * 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Hearing assistance with automated speech transcription
JP6165913B1 (ja) * 2016-03-24 2017-07-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム
TWI595478B (zh) 2016-04-21 2017-08-11 國立臺北大學 可學習不同語言及模仿不同語者說話方式之韻律參數語速正規化器、語速相依韻律模型建立器、可控語速之韻律訊息產生裝置及韻律訊息產生方法
US20180018974A1 (en) * 2016-07-16 2018-01-18 Ron Zass System and method for detecting tantrums
JP6716397B2 (ja) 2016-08-31 2020-07-01 株式会社東芝 音声処理装置、音声処理方法およびプログラム
CN106453867A (zh) * 2016-09-27 2017-02-22 乐视控股(北京)有限公司 闹钟的控制方法和装置
US11321890B2 (en) * 2016-11-09 2022-05-03 Microsoft Technology Licensing, Llc User interface for generating expressive content
US10595127B2 (en) * 2016-11-22 2020-03-17 Motorola Solutions, Inc. Method and apparatus for managing audio signals in a communication system
US9854324B1 (en) * 2017-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for automatically enabling subtitles based on detecting an accent

Also Published As

Publication number Publication date
CN108630213B (zh) 2021-09-28
CN108630213A (zh) 2018-10-09
US10803852B2 (en) 2020-10-13
US20180277095A1 (en) 2018-09-27
JP2018159772A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
CN109714663B (zh) 一种耳机的控制方法、耳机及存储介质
CN108989953B (zh) 空间上回避通过波束形成扬声器阵列产生的音频
US8913753B2 (en) Selective audio/sound aspects
JP6646001B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP6716397B2 (ja) 音声処理装置、音声処理方法およびプログラム
JPH10126890A (ja) ディジタル補聴器
US9564114B2 (en) Electronic musical instrument, method of controlling sound generation, and computer readable recording medium
JP6268033B2 (ja) 携帯端末
US9439082B2 (en) Mobile device audio indications
WO2018079624A1 (ja) 処理装置、サーバ装置、出力方法及びプログラム
JP6726297B2 (ja) 処理装置、サーバ装置、出力方法及びプログラム
CN108630214B (zh) 声音处理装置、声音处理方法以及存储介质
JP2012063614A (ja) マスキング音生成装置
JP4977066B2 (ja) 車両用音声案内装置
JP6995907B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP7146152B2 (ja) 情報処理装置、音像形成システム、制御方法、及び制御プログラム
JP2005286876A (ja) 環境音提示装置及び補聴器調整装置
KR20220054504A (ko) 차량 및 그 제어방법
Weedon et al. Perceived urgency in speech warnings
JP2006114942A (ja) 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体
JP4971010B2 (ja) 音割れ検出装置、及び音割れ検出方法
JP2009080298A (ja) 補聴装置
JP2006288572A (ja) 脳波誘導デバイス
JP2020106328A (ja) 情報処理装置
KR100693702B1 (ko) 음성 출력 장치의 음성 출력 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R151 Written notification of patent or utility model registration

Ref document number: 6646001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151