JP2024107476A - 音声伝達補償装置、音声伝達補償方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの訓練も大掛かりな装置も必要とせずに、触覚情報を音声聴取に活用することによる音声聴取支援を実現する。【解決手段】ユーザが聴取する音声の弁別を支援する音声伝達補償装置において、音声信号を入力し、当該音声信号における特定の種類の音の音響的特徴を分析し、当該音響的特徴を出力する分析部と、前記分析部から出力された前記音響的特徴を入力し、当該音響的特徴に対応する時間長の振動信号を生成し、出力する変換部と、前記変換部から出力された振動信号を入力し、当該振動信号に基づいて、前記時間長の振動をユーザに与えることにより、振動刺激と音声の聴覚入力とをユーザにおいて統合させる呈示部とを備える。【選択図】図３

Description

本発明は、ユーザに対して音声の伝達を補償することで、聴取した音声の弁別を支援する技術に関連するものである。

騒音環境下や聴覚障がい下では、高音やエネルギーの小さい音が人の聴覚から入力されにくくなる。これにより、特に子音の弁別が難しくなり、結果として音声全体の明瞭な聞き取り、そして音声内容の理解を阻害している。

音声の伝達を補償する従来技術として、非特許文献１にはタクチュアルボコーダが開示されている。非特許文献１に開示されたタクチュアルボコーダは、音声入力を複数の帯域に分割し、それぞれの帯域に割り当てた触振動子を振動させることで、聴覚障がい者に話し言葉を触覚により伝達する。

また、非特許文献２には、音声の聴覚入力とともに発話運動に関連した触覚刺激を人為的操作により与えることで、錯覚を生じさせ、聞こえ方を変化させる現象が開示されている。

吉川雅博. (1988) 触振動覚による聴覚障害児の音声知覚と振動器の役割, 聴能言語学研究, 5, 22-28. Gick, B., & Derrick, D. (2009). Aero-tactile integration in speech perception. Nature, 462(7272), 502.

非特許文献１に開示されたタクチュアルボコーダでは、その利用のために、ユーザとなる聴覚障がい者が振動と音声との対応付けを覚える等の訓練が必要であった。そのため、装置単独では聴取支援の利用に至っていない。

非特許文献２に開示された発話運動に関連した触覚刺激が音声の聴覚入力と統合されるという現象を利用することで、訓練なしでより効果的な聴取支援につなげることが可能となる。しかし、本現象で効果が確認されていた触覚刺激は、空気噴射を発生させるボンベや皮膚を伸ばす力学提示装置等の大掛かりな装置が必要なもののみであり、実用には不向きであった。

本発明は上記の点に鑑みてなされたものであり、ユーザの訓練も大掛かりな装置も必要とせずに、触覚情報を音声聴取に活用することによる音声聴取支援を実現することを可能とする技術を提供することを目的とする。

開示の技術によれば、ユーザが聴取する音声の弁別を支援する音声伝達補償装置であって、
音声信号を入力し、当該音声信号における特定の種類の音の音響的特徴を分析し、当該音響的特徴を出力する分析部と、
前記分析部から出力された前記音響的特徴を入力し、当該音響的特徴に対応する時間長の振動信号を生成し、出力する変換部と、
前記変換部から出力された振動信号を入力し、当該振動信号に基づいて、前記時間長の振動をユーザに与えることにより、振動刺激と音声の聴覚入力とをユーザにおいて統合させる呈示部と
を備える音声伝達補償装置が提供される。

開示の技術によれば、ユーザの訓練も大掛かりな装置も必要とせずに、触覚情報を音声聴取に活用することによる音声聴取支援を実現することを可能とする技術が提供される。

実験結果を示す図である。 実験結果を示す図である。 実施例１における音声伝達補償装置の構成図である。 実施例１における音声伝達補償装置の動作を説明するためのフローチャートである。 処理内容を説明するための図である。 実施例２における音声伝達補償装置の構成図である。 実施例２における音声伝達補償装置の動作を説明するためのフローチャートである。 装置のハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実験について）
本実施の形態に係る技術は、発話運動に関連したバイブレーション（振動）刺激と音声の聴覚入力とをユーザにおいて統合するという現象を利用している。つまり、発話と聴取の関わりによる錯覚現象を基に、音声を伝達することが可能な刺激を触覚としてユーザに呈示することで、聴取支援を行う。まず、上記の現象の根拠となる実験の内容とその結果を説明する。

本実験では、１０名の対象者に対し、雑音で聞き取りにくくした「ば」及び「ぱ」という音声を聞かせるとともに、様々な長さの振動を手の甲に呈示した。

図１は、「ば」（ｂａ）についての実験結果を示している。図１に示すとおり、２００ｍｓの時間長の振動を与えたときに、音声が「ば」に聞き取りやすいことが分かった。図２は、「ぱ」（ｐａ）についての実験結果を示している。図２に示すとおり、６．２５～１２．５ｍｓの時間長の振動を与えたときに、音声が「ぱ」に聞き取りやすいことが分かった。

また、実験により、振動開始のタイミングについては、５０ｍｓ程度の遅延は許容して同様の効果が得られることが分かった。

以下では、音声を聞き、振動の呈示を受ける者を「ユーザ」と呼ぶ。本実施の形態では、ユーザの聴覚からユーザに入力される音声情報が、ユーザにおいて騒音や聴覚障がいによって欠落する場合でも、ユーザの触覚から振動を入力し、残存する聴覚情報との統合を生じさせることで、ユーザが会話等における音声を明瞭に聞き取ることを可能としている。

本実施の形態では、音声伝達補償装置がユーザに対して振動の呈示を行う。なお「ユーザに振動を呈示する」を、「ユーザに振動を与える」、「ユーザに振動を入力する」等と言い換えてもよい。

以下、実施例１、実施例２、変形例により、本実施の形態に係る音声伝達補償装置の構成と動作を詳細に説明する。

（実施例１）
まず、実施例１を説明する。実施例１では、ユーザが会話等におけるリアルタイム音声の聴取を行っているときに、音声伝達補償装置１００によりユーザに振動を呈示することで、騒音環境下や聴覚障がい下であっても、ユーザが「ば／ぱ」等の音声を弁別し易くするようにしている。なお、実施例１（及び実施例２）では、有声破裂音／ｂ／，／ｄ／，／ｇ／と無声破裂音／ｐ／，／ｔ／，／ｋ／の弁別を例にして説明している。

＜装置構成例＞
図３に、実施例１における音声伝達補償装置１００の構成図を示す。図３に示すように、実施例１における音声伝達補償装置１００は、分析部１１０、変換部１２０、及び呈示部１３０を備える。

音声伝達補償装置１００は、例えば、振動素子（バイブレータ）を備えるスマートフォン等であってもよいし、その他の装置であってもよい。

各部の処理内容については後述する動作説明においてフローチャートを参照して説明することとし、ここでは各部の入力と出力を説明する。

分析部１１０は、音声信号を入力とし、入力された音声信号に含まれる破裂波形の開始時刻から、周期的な波形の開始時刻までの時間長が所定の時間（ここでは例として２５ｍｓとする。以下同様）以上か未満かの情報を出力する。

なお、破裂波形とは、発声者の調音器官が閉鎖後に急に解放を行うことで生じる破裂の音声波形部分を指す。また、破裂音とは、破裂部（破裂波形の部分）及びその他の音声部分を含む子音（／ｂ／，／ｐ／，／ｄ／，／ｔ／等）全体を指す。

変換部１２０は、上記時間長が２５ｍｓ以上か未満かの情報を入力とし、振動信号を出力する。呈示部１３０は、振動信号を入力とし、振動を出力する。

＜音声伝達補償装置１００の動作例＞
次に、実施例１における音声伝達補償装置１００の動作例を説明する。まず、概要を説明する。音声伝達補償装置１００においては、まず、分析部１１０に、ユーザが聞いている音声信号が入力され、当該音声信号における特定の種類の音の音響的特徴を分析し、当該音響的特徴を出力する。

次に、変換部１２０が、分析部１１０から出力された音響的特徴を入力し、当該音響的特徴に対応する時間長の振動信号を生成し、出力する。続いて、呈示部１３０が、変換部１２０から出力された振動信号を入力し、当該振動信号に基づいて、上記時間長の振動をユーザに与える。

実施例１において、特定の種類の音は破裂音であり、分析部１１０は、当該破裂音における破裂波形の開始時刻から周期的な波形の開始時刻までの時間長が所定の閾値以上か否かを示す情報を、音響的特徴として出力することとしている。

以下、実施例１における音声伝達補償装置１００の動作例を、図４のフローチャートの手順に沿って詳細に説明する。また、適宜、音声波形を示す図５を参照する。

ば／ぱ等の破裂音の音声信号の波形である図５に示すとおり、当該音声信号に含まれる破裂音は、破裂波形から開始し、一定時間後に周期的な波形が開始するという性質を有している。分析部１１０の処理はこのような性質に基づいている。

図４のＳ１０１において、音声信号が入力された分析部１１０は、当該音声信号の波形から破裂波形を検出し、破裂波形の開始時刻ｔ１を記録する。

開始時刻の取得方法は、特定の方法に限定されないが、例えば、一般的に破裂子音の検出に用いられるスペクトルのローカルピークを検出する方法、あるいは、５０ｍｓから１００ｍｓの無音区間後に出現する５ｍｓから４０ｍｓのバースト波形を検出する方法を用いることができる。

Ｓ１０２において、分析部１１０は、破裂波形直後の、周期的な波形を検出し、周期的な波形の開始時刻ｔ２を記録する。

Ｓ１０３において、分析部１１０は、破裂波形の開始から周期的な波形が開始するまでの時間長ｔ２―ｔ１＝Ｔを算出する。ＴはＶｏｉｃｅ Ｏｎｓｅｔ Ｔｉｍｅと呼ばれる。Ｓ１０１～Ｓ１０３におけるｔ１、ｔ２、Ｔの具体例は図５に示すとおりである。

Ｓ１０４において、分析部１１０は、Ｔと所定の閾値との大小関係を比較する。所定の閾値として、弁別したい２つの音を識別可能とする値を事前に実験等で求め、分析部１１０に設定しておくものとする。ここでは、例えば「ｂ」と「ｐ」を弁別することを想定して、所定の閾値を２５ｍｓとする。

分析部１１０は、Ｔが所定の閾値（２５ｍｓ）未満であると判定すれば、Ｓ１０５において０を出力し、Ｔが所定の閾値（２５ｍｓ）以上であると判定すれば、Ｓ１０８において１を出力する。分析部１１０から出力された０又は１は、変換部１２０に入力される。

破裂波形の一定時間後に開始する周期的な波形は声帯振動を示し、有声破裂音では破裂から声帯振動の開始までの時間が短く、無声破裂音では長いという特徴がある。そのため、分析部１１０の出力が０のときは、入力された音声信号（破裂音）は「ｂ」に該当し、分析部１１０の出力が１のときは、入力された音声信号（破裂音）は「ｐ」に該当すると判断できる。なお、所定の閾値を２５ｍｓとすることは一例であり、個人差等を考慮して２５ｍｓ以外の値を設定することとしてもよい。０又は１の値についてもＴが所定の閾値未満であるか否かを表す情報であればよく、これに限るものではない。

変換部１２０に対して分析部１１０から０が入力された場合、Ｓ１０６において、変換部１２０は、一音節の時間長程度（例：２００ｍｓ±５０％）の振動刺激を呈示するための振動信号を生成し、出力する。出力された振動信号は呈示部１３０に入力される。

変換部１２０に対して分析部１１０から１が入力された場合、Ｓ１０９において、変換部１２０は、ユーザ（人）が振動を感じられる最短周期程度（例：１０ｍｓ±５０％）の時間長の振動刺激を呈示するための振動信号を生成し、出力する。出力された振動信号は呈示部１３０に入力される。

振動信号により振動を呈示する時間長、振動信号の種類は、呈示部１３０を実装する装置（例：スマートフォンの振動素子）に応じて決めることとしてもよい。また、２００ｍｓ及び１０ｍｓは、前述した実験に基づく一例であり、個人差等を考慮して、これら以外の値を個人に適した値として設定することとしてもよい。

呈示部１３０は振動素子（振動子と称してもよい）を含む。Ｓ１０７、Ｓ１１０のそれぞれにおいて、振動信号が入力された呈示部１３０は、当該振動信号に基づいて、振動素子を駆動させることにより、ユーザに振動を呈示する。

呈示部１３０は、例えばスマートフォン等に含まれる振動素子及びそれを駆動する機能からなる機能部であり、当該振動素子を駆動させることで振動を呈示する。振動を呈示するユーザの身体部位は例えば手等であるが、これに限るものではない。音声の破裂部から振動の呈示までに、５０ｍｓまでの遅延であれば本現象の効果は保持され、ユーザにおいてリアルタイムの音声と振動の統合が生じることが保証される。なお、許容される遅延が「５０ｍｓ」であることは一例である。図５には、２００ｍｓの振動呈示の例が示されている。

上述した実施例１に係る技術により、ユーザの訓練も大掛かりな装置も必要とせず、触覚情報（振動）を音声聴取に活用することで、騒音環境下や聴覚障がい下であっても、紛らわしい音の弁別を可能とするように音声聴取を支援することができる。

（実施例２）
実施例１では、ユーザが会話等におけるリアルタイム音声の聴取を行う場合を例にして説明したが、本発明に係る技術の適用先はこれに限るものではない。例えば、ニュース等の録音された音声の聴取においても、本発明に係る技術を適用できる。

ニュース等の録音された音声の聴取に本発明を適用する例を実施例２として説明する。実施例２では、音声信号における破裂波形の生じる時刻と、その破裂波形に対応する音響的特徴（実施例１で説明した０又は１）を対応付けて記憶することで、再生される音声と振動とを同期させ、ユーザに振動を遅延なく呈示し、音声聴取を支援することとしている。

＜装置構成例＞
図６に、実施例２における音声伝達補償装置２００の構成図を示す。図６に示すように、実施例２における音声伝達補償装置２００は、分析部２１０、記憶部２２０、再生司令部２３０、変換部２４０、及び呈示部２５０を備える。

実施例１と同様、音声伝達補償装置２００は、例えば、振動素子（バイブレータ）を備えるスマートフォン等であってもよいし、その他の端末であってもよい。

各部の処理内容については後述する動作説明においてフローチャートを参照して説明することとし、ここでは各部の入力と出力を説明する。

分析部２１０は、音声信号を入力とし、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、その開始（破裂波形ｋの開始時刻）から周期的な波形が開始するまでの時間長Ｔｋが所定の時間（ここでは例として２５ｍｓとする。以下同様）以上か未満かの情報とを出力する。ここでは、破裂部が存在する時刻ｔ１＿ｋを破裂波形ｋの開始時刻としているが、破裂部が存在する時刻は、当該開始時刻以外の時刻であってもよい。

ｋは、音声信号に含まれる破裂波形の時系列順での出現個数を示す番号（ｋ＝０，１，２，…，Ｎ。Ｎは全破裂波形の数）である。なお、Ｎ＝０である場合は、破裂波形は存在しない。本実施の形態では、破裂波形が存在することを想定するので、Ｎ≧１である。

記憶部２２０は、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、その開始（破裂波形ｋの開始時刻）から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報とを入力とする。また、記憶部２２０は、再生司令も入力とする。記憶部２２０は、再生司令に基づき、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、その開始（破裂波形ｋの開始時刻）から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報とを出力する。

変換部２４０は、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、その開始（破裂波形ｋの開始時刻）から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報とを入力とし、各時刻ｔ１＿ｋにおいて、振動信号を出力する。

呈示部２５０は、振動信号を入力とし、振動を出力する。再生司令部２３０は、音声信号の再生開始情報を入力とし、再生司令を出力する。

＜音声伝達補償装置２００の動作例＞
次に、実施例２における音声伝達補償装置２００の動作例を、図７のフローチャートの手順に沿って説明する。実施例２における振動呈示のための基本的な処理内容は実施例１での処理内容と同じなので、適宜、図４のフローチャート、及び図５を参照する。なお、実施例２における「時刻」は、録音された音声の始まりを０とした相対的な時刻である。

Ｓ２０１において、録音された音声の音声信号が入力された分析部２１０は、音声信号の音響的特徴を分析する。実施例１で説明したとおり、音声に含まれる破裂音は、破裂波形から開始し、一定時間後に周期的な波形が開始するという性質を有している。分析部２１０の処理はこのような性質に基づいている。実施例２における音響的特徴とは、実施例１と同じく、破裂音における破裂波形の開始時刻から周期的な波形の開始時刻までの時間長が所定の閾値以上か否かを示す情報である。

Ｓ２０１において、より詳細には、破裂波形毎に、図４のＳ１０１～Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０８と同様の処理を行う。ただし、実施例２では、得られた情報を記憶部２２０に記憶する（図７のＳ２０２）。具体的には下記のとおりである。以下、便宜上、図４に示したステップ番号を使用する。

分析部２１０は、対象の音声信号に含まれる全ての破裂波形とその直後の周期的な波形について時間長Ｔｋを計算するものであり、ｋ毎に、下記のＳ１０１～Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０８を実行する。つまり、下記の処理は、ｋ＝１，２，…，Ｎのそれぞれについて実行される。

Ｓ１０１において、分析部２１０は、音声信号の波形から破裂波形を検出し、破裂波形の開始時刻ｔ１＿ｋを記録し、出力する。出力された開始時刻ｔ１＿ｋは記憶部２２０に記憶される。開始時刻の取得方法は、実施例１で説明したとおりである。

Ｓ１０２において、分析部２１０は、破裂波形直後の、周期的な波形を検出し、周期的な波形の開始時刻ｔ２＿ｋを記録する。

Ｓ１０３において、分析部２１０は、破裂波形の開始から周期的な波形が開始するまでの時間長ｔ２＿ｋ－ｔ１＿ｋ＝Ｔｋを算出する。

Ｓ１０４において、分析部２１０は、Ｔｋと所定の閾値との大小関係を比較する。所定の閾値として、弁別したい２つの音を識別可能とする値を事前に実験等で求め、分析部２１０に設定しておくものとする。ここでは、実施例１と同じく、例えば「ｂ」と「ｐ」を弁別することを想定して、所定の閾値を２５ｍｓとする。

分析部２１０は、Ｔｋが所定の閾値（２５ｍｓ）未満であると判定すれば、Ｓ１０５において０を出力し、Ｔｋが所定の閾値（２５ｍｓ）以上であると判定すれば、Ｓ１０８において１を出力する。分析部２１０から出力された０又は１は、記憶部２２０に記憶される。これにより、記憶部２２０には、破裂波形ｋ毎に、その開始時刻ｔ１＿ｋと、０又は１とが対応付けて記憶されることになる。

実施例１で説明したとおり、周期的な波形は声帯振動を示し、有声破裂音では破裂から声帯振動の開始までの時間が短く、無声破裂音では長いという特徴がある。そのため、分析部２１０の出力が０のときは、音声信号（破裂音）は「ｂ」に該当し、分析部２１０の出力が１のときは、音声信号（破裂音）は「ｐ」に該当すると判断できる。なお、所定の閾値を２５ｍｓとすることは一例であり、個人差等を考慮して設定すると好適である。

図７のＳ２０３において、再生司令部２３０が再生開始情報を受信する。この再生開始情報は、例えば、上述した処理により記憶部２２０に格納された情報の元の音声信号の再生が開始されたことを示す情報である。

再生開始情報を受信した再生司令部２３０は、再生司令を記憶部２２０に出力する。再生司令を受けた記憶部２２０は、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、破裂部から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報とを出力する。出力されたこれらの情報は変換部２４０に入力される。なお、変換部２４０が再生司令を受信し、それに応じて記憶部２２０から、各ｋ（ｋ＝１～Ｎ）についての、破裂部が存在する時刻ｔ１＿ｋと、破裂部から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報とを読み出すこととしてもよい。

図７のＳ２０４において、変換部２４０は、各ｋ（ｋ＝１～Ｎ）について、その時刻ｔ１＿ｋに、実施例１でのＳ１０６、Ｓ１０９と同様にして振動信号を生成し、出力する。振動信号は呈示部２５０に入力される。具体的には下記のとおりである。

変換部２４０は、再生開始からの時刻ｔ１＿ｋにおいて、「破裂部から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報」が０であることを検知すると、一音節の時間長程度（例：２００ｍｓ±５０％）の振動刺激を呈示するための振動信号を生成し、出力する。出力された振動信号は呈示部２５０に入力される。

変換部２４０は、再生開始からの時刻ｔ１＿ｋにおいて、「破裂部から周期的な波形が開始するまでの時間長Ｔｋが２５ｍｓ以上か未満かの情報」が１であることを検知すると、予め定められた所定の時間長の振動刺激を呈示するための振動信号、例えば、ユーザ（人）が振動を感じられる最短周期程度（例：１０ｍｓ±５０％）の時間長の振動刺激を呈示するための振動信号を生成し、出力する。出力された振動信号は呈示部２５０に入力される。

振動信号により振動を呈示する時間長、振動信号の種類は、呈示部２５０を実装する装置（例：スマートフォンの振動素子）に応じて決めることとしてもよい。また、２００ｍｓ及び１０ｍｓは、前述した実験に基づく一例であり、個人差等を考慮して、２００ｍｓ及び１０ｍｓとは異なる値を個人に適した値として設定することとしてもよい。

呈示部２５０は、例えばスマートフォン等に含まれる振動素子及びそれを駆動する機能からなる機能部であり、Ｓ２０５において、当該振動素子を駆動させることで振動を呈示する。振動を呈示するユーザの身体部位は例えば手等であるが、これに限るものではない。音声の破裂部から振動の呈示までに、５０ｍｓまでの遅延であれば本現象の効果は保持され、ユーザにおいてリアルタイムの音声と振動の統合が生じることが保証される。なお、「５０ｍｓ」は一例である。

上述した実施例２に係る技術によっても、ユーザの訓練も大掛かりな装置も必要とせず、触覚情報（振動）を音声聴取に活用することで、騒音環境下や聴覚障がい下であっても、紛らわしい音の弁別を可能とするように音声聴取を支援することができる。

（変形例）
実施例１、実施例２では、人の発話時の声帯振動に着目し、有声破裂音／ｂ／，／ｄ／，／ｇ／と無声破裂音／ｐ／，／ｔ／，／ｋ／の弁別を例にして説明したが、これに限るものではない。例えば、鼻音／ｎ／，／ｍ／や摩擦音／ｓ／，／ｚ／等においても、本発明に係る技術を適用し、鼻音／ｎ／，／ｍ／の弁別、摩擦音／ｓ／，／ｚ／の弁別等を支援することができる。つまり、鼻音／ｎ／，／ｍ／や摩擦音／ｓ／，／ｚ／等において、実施例１，２と同様に発話時に生じる皮膚感覚を模した振動をユーザに与えることで、音の弁別を支援できる。皮膚感覚を模した振動時間については、適宜実験等により事前に定めればよい。

（ハードウェア構成例）
本実施の形態における音声伝達補償装置はいずれも、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、スマートフォン等を含む。

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図８は、上記コンピュータのハードウェア構成例を示す図である。図８のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。

本実施の形態における入力装置１００７は、例えば、音声信号を入力するマイクである。また、入力装置１００７が、様々な操作指示を入力するためのタッチパネルを有していてもよい。本実施の形態の出力装置１００８は、振動を出力する。

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した音声伝達補償装置、音声伝達補償方法、及びプログラムが記載されている。
（第１項）
ユーザが聴取する音声の弁別を支援する音声伝達補償装置であって、
音声信号を入力し、当該音声信号における特定の種類の音の音響的特徴を分析し、当該音響的特徴を出力する分析部と、
前記分析部から出力された前記音響的特徴を入力し、当該音響的特徴に対応する時間長の振動信号を生成し、出力する変換部と、
前記変換部から出力された振動信号を入力し、当該振動信号に基づいて、前記時間長の振動をユーザに与える呈示部と
を備える音声伝達補償装置。
（第２項）
前記特定の種類の音は破裂音であり、前記分析部は、当該破裂音における破裂波形の開始時刻から周期的な波形の開始時刻までの時間長が所定の閾値以上か否かを示す情報を、前記音響的特徴として出力する
第１項に記載の音声伝達補償装置。
（第３項）
前記音声伝達補償装置は、記憶部を備え、
前記分析部は、前記特定の種類の音を検出した時刻毎に、当該時刻と、当該時刻の音声信号から得られた音響的特徴とを前記記憶部に格納し、
前記変換部は、前記記憶部から読み出した各時刻において、当該時刻における音響的特徴に対応する振動信号を生成し、出力する
第１項又は第２項に記載の音声伝達補償装置。
（第４項）
ユーザが聴取する音声の弁別を支援する音声伝達補償装置が実行する音声伝達補償方法であって、
入力された音声信号における特定の種類の音の音響的特徴を分析する分析ステップと、
前記分析ステップで得られた前記音響的特徴に対応する時間長の振動信号を生成する変換ステップと、
前記変換ステップにより得られた振動信号に基づいて、前記時間長の振動をユーザに与える呈示ステップと
を備える音声伝達補償方法。
（第５項）
コンピュータを、第１項ないし第３項のうちいずれか１項に記載の音声伝達補償装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００、２００ 音声伝達補償装置
１１０、２１０ 分析部
１２０、２４０ 変換部
１３０、２５０ 呈示部
２２０ 記憶部
２３０ 再生司令部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (3)

1. ユーザが聴取する音声の弁別を支援する音声伝達補償装置であって、
   音声信号を入力し、当該音声信号における特定の種類の音の音響的特徴を分析し、当該音響的特徴を出力する分析部と、
   前記分析部から出力された前記音響的特徴を入力し、当該音響的特徴に対応する時間長の振動信号を生成し、出力する変換部と、
   前記変換部から出力された振動信号を入力し、当該振動信号に基づいて、前記時間長の振動をユーザに与えることにより、振動刺激と音声の聴覚入力とをユーザにおいて統合させる呈示部と
   を備える音声伝達補償装置。
2. ユーザが聴取する音声の弁別を支援する音声伝達補償装置が実行する音声伝達補償方法であって、
   入力された音声信号における特定の種類の音の音響的特徴を分析する分析ステップと、
   前記分析ステップで得られた前記音響的特徴に対応する時間長の振動信号を生成する変換ステップと、
   前記変換ステップにより得られた振動信号に基づいて、前記時間長の振動をユーザに与えることにより、振動刺激と音声の聴覚入力とをユーザにおいて統合させる呈示ステップと
   を備える音声伝達補償方法。
3. コンピュータを、請求項１に記載の音声伝達補償装置における各部として機能させるためのプログラム。

Images