JP5157488B2 - パラメータ設定装置、音響生成装置およびプログラム - Google Patents

Description

本発明は、利用者の口腔の状態（例えば口腔の形状や口の開き具合）に関するパラメータを特定する技術に関する。

例えば利用者の動作に応じた音響を生成する技術においては、音響の特性を制御するための複数のパラメータを利用者の動作に応じて可変に設定する必要がある。特許文献１には、利用者の口腔の形状に応じて各種のパラメータを設定することで管楽器の楽音を合成する電子管楽器が開示されている。口腔の形状の特定には超音波が利用される。すなわち、超音波送信機の放射した超音波が口腔の内面にて反射して超音波受信機に到達するまでの時間長に応じて口腔の形状が特定される。
特開２０００−１２２６４１号公報

しかし、特許文献１の技術においては超音波送信機と超音波受信機とが口腔の形状の特定に必要であるから、装置の構成が煩雑化するとともに製造コストが増大するという問題がある。以上の事情に鑑みて、本発明は、利用者の口腔の状態に関するパラメータを設定する装置の構成の簡素化および製造コストの低減を目的とする。

以上の課題を解決するために、本発明に係るパラメータ設定装置は、口腔を経由した音響を収音して収音信号を生成する収音機器と、収音信号の波形において舌打音の１回毎に発生する２回のピークの間隔を特徴量として抽出する特徴抽出手段と、口腔の状態に関するパラメータを特徴量から特定するパラメータ特定手段とを具備する。以上の構成においては、口腔を経由した音響を収音機器で収音した収音信号に応じて口腔の状態に関するパラメータが特定されるから、超音波送信機や超音波受信機を利用してパラメータを特定する特許文献１の構成と比較して構成の簡素化や製造コストの低減が実現される。なお、口腔の状態とは、口腔を経由する音響の特性に影響する口腔の態様または性状であり、例えば口腔の形態（形状またはサイズ）や口の開き具合である。

本発明の好適な態様に係るパラメータ設定装置は、収音信号の特徴量とパラメータとの関係を利用者が変更できるように特徴量とパラメータとを対応付けて記憶する記憶手段を具備し、パラメータ特定手段は、特徴抽出手段が抽出した特徴量に対応するパラメータを記憶手段から取得する。以上の構成においては、特徴量に対応するパラメータが記憶手段の記憶の内容（例えば図１のテーブルＴ）を利用して特定されるから、例えば特徴量から所定の演算式を利用してパラメータを演算する構成と比較してパラメータの特定の負荷が軽減される。もっとも、所定の演算によって特徴量からパラメータを算定する構成も本発明においては採用される。

本発明の好適な態様において、記憶手段は、舌打音（吸着音）の特徴量をパラメータに対応付けて記憶する。以上の態様においては、利用者は、口腔の形状を調整したうえで舌打音を発生させることでパラメータを適宜に調整できる。したがって、利用者がパラメータを設定する手間が削減されるという利点がある。

本発明に係る音響生成装置は、以上の各態様に係るパラメータ設定装置と、パラメータ設定装置が設定したパラメータに応じた音響信号を生成する音響生成手段とを具備する。以上の構成によれば、本発明のパラメータ設定装置と同様の作用および効果が実現される。なお、音響生成手段としては、例えば音響の発生（人間による発生や楽器からの発音）の原理を模擬することで音響を合成する物理モデル音源が好適である。

本発明に係るパラメータ設定装置は、ＤＳＰ（Digital Signal Processor）などの専用のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、口腔を経由した音響を収音した収音信号の波形において舌打音の１回毎に発生する２回のピークの間隔を特徴量として抽出する特徴抽出処理と、口腔の状態に関するパラメータを特徴量から特定するパラメータ特定処理とをコンピュータに実行させる。以上のプログラムによっても、本発明に係るパラメータ設定装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

図１は、本発明の実施の形態に係る音響生成装置のブロック図である。音響生成装置１００は、利用者の口腔の状態に応じた音響（音声や楽音）を生成する装置である。図１に示すように、音響生成装置１００は、制御装置１０と記憶装置２０とを具備するコンピュータシステムで実現される。

制御装置１０は、プログラムを実行することで図１の複数の要素（特徴抽出部５２，パラメータ特定部５４，音響生成部５６）として機能する演算処理装置である。なお、制御装置１０の各要素を複数の装置に分散した構成も採用される。また、制御装置１０の少なくとも一部の機能を専用の電子回路（ＤＳＰ）で実現してもよい。記憶装置２０は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。制御装置１０には、収音機器３２と放音機器３４とが接続される。

収音機器（マイクロホン）３２は、周囲の音響を収音して収音信号（収音機器３２に到達した音響の時間波形を表す電気信号）ＳINを生成する。図２に示すように、収音機器３２は、利用者の口腔７０内の音響を充分な強度で収音できる位置（例えば利用者の唇の直前や唇の表面上や口腔７０の内部）に設置される。なお、収音機器３２からの出力信号をデジタルの収音信号ＳINに変換するＡ/Ｄ変換器や収音信号ＳINを増幅する増幅器の図示は便宜的に省略されている。

図３は、利用者が舌打音（吸着音）を発生させたときに収音機器３２が出力する収音信号ＳINの時間波形である。区間ａと区間ｂと区間ｃとの３回にわたって口腔７０の形状を変化させながら舌打音を発生した。図３に示すように、収音信号ＳINの波形（舌打音の特性）は利用者の口腔７０の形状に応じて変化する。以上の性質を考慮して、図１の特徴抽出部５２およびパラメータ特定部５４は、収音信号ＳINから抽出される特徴量Ｆに基づいて、利用者の口腔７０の状態に関するパラメータ（以下「口腔パラメータ」という）Ｐを特定する。

特徴抽出部５２は、収音機器３２が生成した収音信号ＳINの特徴量Ｆを抽出する。特徴量Ｆの種類は任意であるが、音響の複数の特性のうち利用者の口腔７０の形状に応じた変化が舌打音において顕著となる特性が特徴量Ｆとして特に好適である。例えば、収音信号ＳINの周波数スペクトル（パワースペクトル）や収音信号ＳINにおいて舌打音が継続する時間長が特徴量Ｆとして選定される。また、図３に示すように、舌打音の時間波形における強度（振幅）には舌打音の１回毎に２回のピークｐが現れる。１回の舌打音における２回のピークｐの間隔ｔを特徴量Ｆとして特徴抽出部５２が抽出してもよい。

図１のパラメータ特定部５４は、特徴抽出部５２が抽出した特徴量Ｆに基づいて口腔パラメータＰを特定する。口腔パラメータＰは、例えば口腔７０の形態（形状，サイズ）や口の開き具合の指標となる数値である。特徴量Ｆに応じた口腔パラメータＰの特定にはテーブルＴが使用される。図１に示すようにテーブルＴは事前に作成されて記憶装置２０に格納される。

図４は、テーブルＴの内容を示す概念図である。図４に示すように、テーブルＴにおいては、舌打音の特徴量Ｆの各数値（Ｆ1，Ｆ2，Ｆ3，……）と口腔パラメータＰの各数値（Ｐ1，Ｐ2，Ｐ3，……）とが対応付けられる。なお、実際のテーブルＴにおいては、特徴量Ｆが取り得る数値の範囲を区分した複数の範囲の各々に口腔パラメータＰが対応付けられる。パラメータ特定部５４は、特徴抽出部５２が抽出した特徴量Ｆに近似する数値（または特徴量Ｆが属する範囲）をテーブルＴから検索し、検索の結果に対応する口腔パラメータＰを記憶装置２０から取得する。以上のように、収音機器３２と特徴抽出部５２とパラメータ特定部５４とは、利用者が発生した舌打音に応じて口腔パラメータＰを設定するパラメータ設定装置２００として機能する。

図４のテーブルＴは、例えば以下の手順で作成される。第１に、利用者が発生した舌打音の特徴量Ｆの抽出と舌打音の発生時における実際の口腔パラメータＰ（口腔７０の状態）の測定とを複数の利用者について実行する。口腔パラメータＰの測定には例えば超音波が利用される。すなわち、超音波送信機から口腔７０内に放射された超音波が口腔７０の内面で反射して超音波受信機に到達するまでの時間を計測し、計測値を統計的に処理することで口腔パラメータＰが特定される。第２に、複数の利用者について測定された特徴量Ｆと口腔パラメータＰとを統計的に処理することで特徴量Ｆの各数値に対する口腔パラメータＰの傾向（関係）を特定する。そして、特徴量Ｆの各数値に対して以上の関係を満たす口腔パラメータＰの数値を対応させることでテーブルＴが作成される。

図１の音響生成部５６は、パラメータ特定部５４が特定した口腔パラメータＰを含む複数のパラメータに基づいて音響信号ＳOUTを生成する。本形態の音響生成部５６は、音響の発生の原理を模擬することで音響信号ＳOUTを合成する物理モデル音源である。例えば、管楽器の演奏音を合成する物理モデル音源や人間の発声音を合成する物理モデル音源が音響生成部５６として好適である。管楽器の物理モデル音源は、演奏者の口腔内から管楽器に流入する気体の体積流速を口腔パラメータＰ（特に演奏者の口の開き具合を示す口腔パラメータＰ）に基づいて算定し、当該体積流速の気体が管楽器の管体内を通過するときの挙動を模擬することで演奏音を合成する。また、人間の発声音の物理モデル音源は、声帯から声門を通過した音波を模擬する時間波形に対して口腔パラメータＰ（特に口腔７０の形状を示す口腔パラメータＰ）に応じた伝達特性を付与することで発声音を合成する。

図１の放音機器（スピーカ装置）３４は、制御装置１０（音響生成部５６）が出力する音響信号ＳOUTに応じて放音する。なお、音響生成部５６の出力信号からアナログの音響信号ＳOUTを生成するＤ/Ａ変換器や音響信号ＳOUTを増幅する増幅器の図示は便宜的に省略されている。

以上の形態においては、口腔７０を経由した音響を収音機器３２で採取した収音信号ＳINから口腔パラメータＰが特定されるから、例えば超音波送信機と超音波受信機とによる測定の結果からパラメータを特定する特許文献１の技術と比較して音響生成装置１００（パラメータ設定装置２００）の構成の簡素化や製造コストの低減が実現されるという利点がある。

また、舌打音の特徴量Ｆと口腔パラメータＰとがテーブルＴにて対応付けられるから、利用者は、口腔７０の形状を調整してから舌打音を発生させることで、口腔パラメータＰを適宜に調整することができる。したがって、利用者が口腔パラメータＰを設定する手間が削減されるという利点がある。

＜変形例＞
以上の形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
以上の形態においては口腔パラメータＰの特定にテーブルＴを利用したが、特徴量Ｆから口腔パラメータＰを特定する方法は任意である。例えば、特徴量Ｆと口腔パラメータＰとの関係を定義する演算式を記憶装置２０に格納し、特徴抽出部５２の抽出した特徴量Ｆを演算式に代入することでパラメータ特定部５４が口腔パラメータＰを演算してもよい。また、特徴量Ｆと口腔パラメータＰとの関係を利用者が適宜に変更（編集）できる構成も好適である。

（２）変形例２
物理モデル音源は音響生成部５６の例示に過ぎない。例えば、パラメータ特定部５４が特定した口腔パラメータＰに応じた音響効果を所定の信号（以下「原信号」という）に付与することで音響信号ＳOUTを生成する効果付与部（エフェクタ）も音響生成部５６として採用される。効果付与部は、例えば、原信号の音量や音高を口腔パラメータＰに応じて制御する手段、原信号のうち口腔パラメータＰに応じて選択された周波数帯域の成分を抑制する手段（例えば口腔パラメータＰに応じて遮断周波数が設定されるローパスフィルタ）、口腔パラメータＰに応じた残響量のリバーブを原信号に付与する手段、口腔パラメータＰに応じた周期のビブラートやトレモロを原信号に付加する手段である。さらに、原信号に付加される音響効果の種類を口腔パラメータＰに応じて選択する構成（例えばエコーとリバーブとを口腔パラメータＰに応じて選択的に適用する構成）も好適である。また、パラメータ特定部５４が特定した口腔パラメータＰに応じて特徴量（音色や音量）が決定された音響信号ＳOUTを生成する音源も音響生成部５６として利用される。すなわち、音響生成部５６は、口腔パラメータＰに応じて特性が変化する音響信号ＳOUTを生成する手段であればよい。

（３）変形例３
以上の形態においてはパラメータ設定装置２００と音響生成部５６とを具備する音響生成装置１００を例示したが、パラメータ設定装置２００を音響生成部５６から独立した装置としてもよい。例えば、パラメータ設定装置２００が設定した口腔パラメータＰの時系列を可搬型の記録媒体に格納し、別個の装置に搭載された音響生成部５６が記録媒体から口腔パラメータＰを取得して音響信号ＳOUTの生成に使用してもよい。また、パラメータ設定装置２００が設定した口腔パラメータＰが通信網に送信され、別個の装置に搭載された音響生成部５６が通信網から口腔パラメータＰを受信して音響信号ＳOUTの生成に使用してもよい。

（４）変形例４
口腔パラメータＰの特定のために収音機器３２に収音される音響は舌打音に限定されない。例えば、利用者の歯が所定の物体（例えば収音機器３２やマウスピース）に衝突する音響や利用者の上歯と下歯とが衝突する音響を口腔パラメータＰの特定のために収音してもよい。また、利用者の身体（皮膚）に付与された振動を伝播させることで口腔７０内に発生した音響も口腔パラメータＰの特定に利用できる。例えば、利用者の頬を指で叩くことで口腔７０内に発生した音響や、可聴帯域内の周波数で振動する振動体（例えばスピーカ装置）を利用者の身体（特に喉部や胸部など）に接触させたときに口腔７０内に伝播する音響を収音機器３２で収音する構成も好適である。口腔パラメータＰの特定に利用される音響の種類は以上のように任意であるから、テーブルＴにて口腔パラメータＰに対応付けられる特徴量Ｆの抽出元となる音響も任意に変更される。ただし、口腔パラメータＰは口腔７０の状態に関するパラメータであるから、収音機器３２が収音する音響は、利用者の口腔７０を経由した音響であることが望ましい。

本発明の実施形態に係る音響生成装置のブロック図である。 収音機器が設置された様子を示す概念図である。 舌打音の時間波形を示すグラフである。 テーブルの内容を示す概念図である。

符号の説明

１００……音響生成装置、２００……パラメータ設定装置、１０……制御装置、２０……記憶装置、３２……収音機器、３４……放音機器、５２……特徴抽出部、５４……パラメータ特定部、５６……音響生成部、７０……口腔、ＳIN……収音信号、Ｆ……特徴量、Ｐ……口腔パラメータ、ＳOUT……音響信号。

Claims (5)

1. 口腔を経由した音響を収音して収音信号を生成する収音機器と、
   前記収音信号の波形において舌打音の１回毎に発生する２回のピークの間隔を特徴量として抽出する特徴抽出手段と、
   前記口腔の状態に関するパラメータを前記特徴量から特定するパラメータ特定手段と
   を具備するパラメータ設定装置。
2. 収音信号の特徴量とパラメータとの関係を利用者が変更できるように特徴量とパラメータとを対応付けて記憶する記憶手段を具備し、
   前記パラメータ特定手段は、前記特徴抽出手段が抽出した特徴量に対応するパラメータを前記記憶手段から取得する
   請求項１のパラメータ設定装置。
3. 口腔を経由した音響を収音して収音信号を生成する収音機器と、
   前記収音信号の波形において舌打音の１回毎に発生する２回のピークの間隔を特徴量として抽出する特徴抽出手段と、
   前記口腔の状態に関するパラメータを前記特徴量から特定するパラメータ特定手段と、
   前記パラメータ特定手段が特定したパラメータに応じた音響信号を生成する音響生成手段と
   を具備する音響生成装置。
4. 前記音響生成手段は、前記パラメータ特定手段が特定したパラメータに応じた音響効果を所定の原信号に付与することで前記音響信号を生成する
   請求項３の音響生成装置。
5. 口腔を経由した音響を収音した収音信号の波形において舌打音の１回毎に発生する２回のピークの間隔を特徴量として抽出する特徴抽出処理と、
   前記口腔の状態に関するパラメータを前記特徴量から特定するパラメータ特定処理と
   をコンピュータに実行させるプログラム。

Images